DeltaMerge-LowRes: Composing Language and Task Deltas for Low-Resource Adaptation

背景

在多语言自然语言处理中，一个常见的低资源场景是：只有几百条标注样例，却需要将一个多语言编码器同时适配到一个新语言和一个新任务上。传统做法是通过一次昂贵的“语言-任务”联合微调来融合这两个轴（语言轴和任务轴）。然而，这种融合不仅计算成本高，而且对于资源匮乏的语言和任务组合往往难以获取足够的标注数据。是否有办法将语言适应和任务适应分开训练，再在权重空间中重新组合？本文提出的 DeltaMerge-LowRes 正是回答这一问题。

核心内容

DeltaMerge-LowRes 的核心思想是：分别学习一个语言增量 $\Delta_L$（从无标签单语文本中学得）和一个任务增量 $\Delta_T$（从有标签的英文数据中学得），然后在推理时通过四种组合规则之一将它们合并到基础模型上。四种规则分别是：

• Additive（加法）：直接将两个增量相加到基础权重上。
• Activation-guided（激活引导）：根据激活值动态调整合并权重。
• Sparsity-aware（稀疏感知）：考虑参数稀疏性，只合并重要的参数。
• Cross-axis TIES（跨轴TIES）：这是本文提出的新规则，将 TIES-Merging（剪枝、符号选举、合并）三步从原本适用于两个任务轴的情形，改造为适用于语言轴和任务轴（即跨轴）。

实验设置了固定的 $(\Delta_L, \Delta_T)$ 对，在四个任务族（包括摘要、问答、分类等）和四种非洲语言（总计 158 个评估单元格，每个单元格进行 10,000 次配对自助重抽样）上比较不同规则的效果。主要发现：

1. Cross-axis TIES 在摘要任务中胜出：在 4 种语言中的 3 种上，chrF 分数比仅用任务增量（task-only）高出 4 到 7 个点（例如交叉轴 TIES 得到 18.59 chrF，任务-only 为 13.80）。
2. Cross-axis TIES 提升问答性能：在问答任务上，F1 提高了 2.32 个点，Exact Match 提高了 2.91 个点。
3. Sparsity-aware 合并改善校准：在保持宏平均 F1 不变的情况下，将分类任务的期望校准误差（ECE）降低了 36%。

研究结论强调：组合规则的选择本质性地改变了合并模型保留、抑制和校准的内容。作者已发布全部 JSON 追踪数据和声明账本（claim ledger）。

关键要点

• 分离训练、组合推理：语言增量和任务增量分别从无标注单语数据和有标注英语数据中独立学习，避免了昂贵的联合微调。
• 四种组合规则：加法、激活引导、稀疏感知、以及新颖的跨轴 TIES。跨轴 TIES 将原本用于两个任务轴的 TIES-Merging 调整为用于语言轴与任务轴。
• 实验规模：覆盖 4 种任务族 × 4 种非洲语言，共 158 个评估单元，每个单元使用 10,000 次配对 bootstrap 确保统计显著性。
• 关键结果：
  • 摘要任务上 cross-axis TIES 在 3/4 语言中显著优于 task-only（chrF 提升 +4 到 +7）。
  • 问答任务上 cross-axis TIES 提升 F1 和 EM 约 2–3 个点。
  • 分类任务上稀疏感知合并使 ECE 降低 36%，且不损失宏 F1。
• 开源数据：所有 JSON 追踪和 claim ledger 均已发布，便于复现。

意义与影响

1. 降低低资源适配成本：将语言适应和任务适应解耦，使得可以利用大量无标签单语数据学习语言增量，再利用已有的英语标注数据学习任务增量，最后只需在推理时进行一次性组合，大幅减少对目标语言-任务联合标注的依赖。
2. 提供可选择的组合策略：不同规则在不同任务上表现各异，研究者可以根据实际任务选择最合适的合并方式，尤其是 cross-axis TIES 在生成式任务（摘要、问答）上表现突出，而 sparsity-aware 合并有助于改善分类置信度校准。
3. 跨轴 TIES 的创新点：将 TIES-Merging 从“两个任务轴”推广到“语言轴 × 任务轴”，拓展了模型合并技术的应用场景，也为未来在多轴（如领域、风格、模态）合并提供了思路。
4. 对非洲语言的关注：选择四种非洲语言作为低资源代表，证明了该方法在真实低资源场景下的有效性，有助于推动多语言 NLP 的公平性和覆盖度。
5. 方法论贡献：本文提供了系统性的消融实验和统计检验，展示了组合规则对最终模型性能的显著影响，并强调了合并策略本身作为超参数的重要性——而不仅仅是增量的质量。