Code-Switching Reveals Language Anchoring in Multilingual LLMs

背景

多语言大语言模型（Multilingual Large Language Models, MLLMs）正被期望能够处理越来越多的语码转换（Code-Switching, CS）输入。语码转换是指说话者在同一段对话或文本中交替使用两种或多种语言的现象，这在现实世界的多语言交流中极为常见。

然而，尽管 MLLMs 声称具备多语言能力，但在处理混合语言的输入时，其性能往往显著低于仅使用单一源语言或目标语言的基准模型。这种性能下降不仅影响了用户体验，也揭示了当前多语言模型在处理语言混合表征时的内在缺陷。为了深入理解这一现象，研究人员需要一种受控的诊断环境，以定位语码转换表示（CS representations）相对于其源语言和目标语言表征的具体位置及关系。

核心内容

本文提出了一种基于几何测量的诊断方法，旨在量化多语言大模型中的“语言锚定”（Language Anchoring）现象，并据此提出了一种推理时的干预机制。

1. 语言锚定与 Anchor Bias

研究引入了一个名为 Anchor Bias（锚定偏差） 的几何度量指标。该指标用于量化语码转换（CS）的隐藏状态（hidden states）是更靠近源语言（Source Language）的表征，还是更靠近目标语言（Target Language）的表征。

通过这种几何视角，研究人员发现 MLLMs 内部存在一种一致的“语法框架效应”（grammar-frame effect）：

• 源语言框架（Source-framed）： 当语码转换以源语言为语法框架时，模型的隐藏状态保持锚定在源语言一侧。
• 目标语言框架（Target-framed）： 当语码转换以目标语言为语法框架时，隐藏状态会向目标语言方向偏移（shift target-ward）。

2. 性能降解的归因

研究发现，目标语言框架的语码转换会导致更大的问答（Question Answering, QA）性能降解。这表明，当模型在处理混合语言输入时，如果其内部表征过度偏向目标语言，而未能有效整合源语言的语法结构或语义信息，就会导致推理失败。这种表征上的偏差直接解释了为何在某些语码转换场景下，多语言模型的表现不如单语言模型。

3. CANVAS：基于上下文锚点的神经向量对齐引导

为了解决上述问题，研究人员提出了一种名为 CANVAS (Contextual Anchor-based Neural Vector Alignment Steering) 的推理时干预方法。

• 机制： CANVAS 从输入中提取源语言侧的“画布”（canvas，即源语言的表征参考点），并在预填充（prefill）阶段，通过软引导（softly steer）的方式，将目标语言的隐藏状态向源语言锚点拉近。
• 目的： 这种方法旨在纠正模型内部表征的偏移，使混合语言输入的处理过程更加平衡，从而保留源语言的关键信息。
• 效果： 实验结果显示，CANVAS 能够跨多种 MLLMs 和不同的语码转换条件，一致地恢复问答任务的 F1 分数。这证明了内部锚定信号为缓解语码转换推理失败提供了一个可操作的优化目标。

关键要点

• 语码转换导致性能下降： 多语言大模型在处理混合语言输入时，性能通常低于单语言基准，原因是内部表征未能有效平衡源语言和目标语言的信息。
• Anchor Bias 度量： 提出了一种几何度量指标 Anchor Bias，用于量化 CS 隐藏状态相对于源语言和目标语言表征的锚定程度。
• 语法框架效应： 存在一致的规律：源语言框架的 CS 保持源语言锚定，而目标语言框架的 CS 向目标语言偏移，且后者导致更严重的 QA 性能降解。
• CANVAS 干预方法： 提出了一种推理时的干预技术 CANVAS，通过提取源语言表征并软引导目标语言隐藏状态向源语言锚点对齐，以修正表征偏差。
• 有效性验证： CANVAS 在多种多语言模型和语码转换条件下均能显著恢复 QA F1 分数，证实了利用内部锚定信号进行干预的有效性。

意义与影响

这项研究从表征几何的角度深入揭示了多语言大模型在处理语码转换时的内在机制。其意义主要体现在以下几个方面：

1. 理论洞察： 通过引入 Anchor Bias 和揭示语法框架效应，研究为理解多语言模型内部的语言表征结构提供了新的理论视角。它表明，多语言模型并非简单地“混合”语言，而是存在明确的锚定偏好，这种偏好直接影响推理性能。
2. 实用解决方案： CANVAS 作为一种推理时干预方法，无需重新训练模型即可显著提升性能。这对于部署多语言 AI 应用具有重要实用价值，特别是在需要处理高度混合语言输入的场景中（如社交媒体分析、多语言客服等）。
3. 优化方向： 研究指出，内部锚定信号是缓解 CS 推理失败的关键。这为未来多语言模型的架构设计和训练策略提供了新的优化方向，例如在预训练阶段引入类似的锚定约束，或在推理阶段采用更精细的表征对齐技术。
4. 推动多语言 AI 发展： 随着全球互联网内容的多语言化，能够高效处理语码转换的 AI 系统变得愈发重要。本研究为解决这一长期存在的性能瓶颈提供了实证支持和可行的技术路径。