Want Better Synthetic Data? Steer It: Activation Steering for Low-Resource Language Generation

背景

随着大型语言模型（LLMs）在自然语言处理领域的统治地位确立，利用 LLMs 生成合成数据（Synthetic Data）已成为提升下游任务性能的重要手段。特别是在低资源语言（Low-Resource Languages）领域，由于缺乏足够的高质量标注数据，通过 LLMs 生成合成数据来增强模型训练效果显得尤为关键。

然而，当前生成低资源语言合成数据的主流最佳实践通常依赖于“少样本提示”（Few-shot Prompting），即通过提供目标语言的示例来引导模型生成。这种方法存在两个显著缺陷：

1. 推理成本高：每次生成都需要输入大量的示例上下文，增加了计算开销。
2. 多样性降低：由于“词汇锚定”（Lexical Anchoring）效应，模型倾向于重复使用提示中的词汇和句式，导致生成的数据多样性不足，进而可能限制下游模型的泛化能力。

针对上述痛点，本研究提出了一种替代方案：激活引导（Activation Steering）。这是一种无需修改模型权重，直接干预模型内部激活状态的技术，旨在以更低的成本生成更具多样性且高质量的低资源语言合成数据。

核心内容

本研究深入探讨了将激活引导应用于低资源语言合成数据生成的可行性与效果。研究团队设计了两种具体的引导策略，并在多种设置下进行了系统性评估。

1. 两种引导策略

研究提出了两种针对不同目标的引导方向：

• 语言引导（Language Steering）： 该策略旨在捕捉特定语言的“语言身份”（Linguistic Identity）。通过引导模型的激活状态，使其生成的文本更符合目标语言的语法习惯、词汇分布和表达风格，从而确保生成数据的语言地道性。

• 质量引导（Quality Steering）： 该策略旨在捕捉文本的“良好形成性”（Well-formedness）。其核心机制是通过对比“人类撰写文本”与“机器回译文本”（Backtranslated text）的表示差异，找到能够区分高质量人类文本与低质量机器生成文本的激活方向。引导模型向人类文本的激活模式靠拢，从而提升生成文本的质量。

2. 实验设置

为了验证上述方法的有效性，研究团队构建了全面的评估框架：

• 模型选择：使用了四个开源的大型语言模型（Open-source LLMs）。
• 干预层级：测试了模型不同层（Layers）的激活引导效果，发现早期层（Early Layers）的效果尤为显著。
• 语言多样性：涵盖了 11 种类型学上多样化的低资源语言，确保结论的普适性。
• 任务类型：生成了用于情感分析（Sentiment Classification）和主题分类（Topic Classification）的合成数据。
• 下游评估：使用生成的合成数据微调较小的分类器，以评估合成数据对下游任务性能的实际提升效果。
• 对比设置：在零样本（Zero-shot）和少样本（Few-shot）提示设置下，将引导方法与未引导的基线方法进行了对比。

3. 主要发现

实验结果揭示了激活引导在低资源语言生成中的显著优势：

• 提升多样性：在模型的早期层应用引导，能够 consistently（一致地）提高生成数据的多样性。这有效缓解了少样本提示带来的词汇锚定问题。
• 增强下游性能：引导后的合成数据往往能带来更强的下游模型性能，特别是在低资源语言场景下，这种提升尤为明显。
• 早期层更有效：研究表明，对模型较浅层（Early Layers）的激活进行干预，比在深层进行干预更能有效地控制生成文本的语言属性和质量，同时保持计算效率。

关键要点

• 痛点解决：传统的少样本提示方法在低资源语言生成中存在成本高、多样性低的问题，激活引导提供了一种高效的替代路径。
• 双轨策略：
  • 语言引导：锁定语言特征，确保“说人话”（符合目标语言习惯）。
  • 质量引导：区分人机文本，确保“说得好”（符合人类写作标准）。
• 早期层干预：在 LLM 的早期层进行激活引导是提升数据多样性和下游性能的关键，这为模型干预提供了更精细的控制粒度。
• 普适性验证：该方法在 4 个开源模型、11 种不同语言类型学背景下均得到验证，证明了其在低资源场景下的广泛适用性。
• 零样本潜力：即使在零样本设置下，激活引导也能显著改善生成数据的质量，减少了对大量示例数据的依赖。

意义与影响

这项研究为低资源语言的自然语言处理任务提供了新的技术思路。其意义主要体现在以下几个方面：

1. 降低数据获取门槛：通过激活引导，研究者可以在不依赖大量人工标注或少样本示例的情况下，生成高质量、高多样性的合成数据。这对于数据稀缺的低资源语言社区具有极高的实用价值。
2. 优化推理效率：相比传统的少样本提示，激活引导可以在推理过程中动态调整模型行为，无需增加输入 Token 的长度，从而降低了推理成本和延迟。
3. 深化对 LLM 内部机制的理解：研究证实了模型早期层的激活状态与语言属性和文本质量之间存在强相关性。这为进一步探索模型的可解释性、可控生成以及模型编辑（Model Editing）技术提供了实证支持。
4. 推动公平性与包容性 AI：通过改善低资源语言的合成数据生成质量，该技术有助于缩小高资源语言与低资源语言在 AI 能力上的差距，促进多语言 AI 生态的均衡发展。

总之，Activation Steering 不仅是一种数据生成技术的改进，更是利用模型内部表示进行精细控制的重要范例，为未来低资源 NLP 研究开辟了新的方向。