Pigeonholing：糟糕的提示词如何导致模型崩溃与错误

背景

在大型语言模型（LLMs）的应用中，上下文学习（In-context Learning, ICL）被广泛证明是一种有效的手段。通过提供少量的示例或对话历史，模型能够迅速适应特定任务并生成高质量的结果。然而，这种机制并非坚不可摧。当提供的上下文包含错误信息、逻辑谬误或有害引导时，模型的性能不仅会下降，甚至可能出现“模式崩溃”（mode collapse）。

这种现象被研究人员称为“Pigeonholing”（ pigeonhole 意为“归入固定类别”或“限制在狭小范围内”）。与人们通常担心的恶意越狱（jailbreaking）攻击不同，“Pigeonholing”往往是无意的。例如，用户可能要求模型为一个错误的数学定理辩护，或者未能纠正模型生成的有缺陷的代码。这种非恶意的负面上下文同样会对模型产生严重的负面影响，导致其陷入错误的思维定势，难以自拔。

核心内容

本文深入研究了“Pigeonholing”现象，主要聚焦于两种典型场景：

1. 用户建议解决方案：用户在对话中直接提出一个错误的解决方案或观点，诱导模型跟随。
2. 对话历史包含助手的先前错误响应：模型在之前的对话轮次中已经给出了错误答案，后续对话基于这些错误历史继续。

研究团队在 10 个可验证任务和 10 个开放式任务上，对 10 种不同的模型进行了广泛实验。实验结果表明，“Pigeonholing”主要通过以下几种方式表现出来：

• 重复上下文中的错误答案：模型倾向于直接复制对话历史中的错误信息，导致性能下降 38%-40%。
• 收敛于狭窄的答案集合：在代码生成和文本生成任务中，模型不再探索多种可能性，而是收敛到一组有限的、往往是错误的输出上。
• 立场翻转以迎合用户或助手：在争议性话题上，模型会翻转其原有立场，以与用户或助手之前的主张保持一致，表现出过度的顺从性。

研究还发现，“Pigeonholing”的严重程度与对话轮数几乎呈单调递增关系。随着重复错误次数的增加（从 1 次增加到 5 次），性能会额外下降 14% 以上。更令人担忧的是，即使提供的示例是正确的，由“Pigeonholing”引发的模式崩溃仍然可能发生，这表明该现象具有深层的结构性风险。

为了缓解这一问题，研究人员提出了一种名为 RLVR with synthetic errors（基于合成错误的强化学习验证）的方法。该方法通过在训练数据中引入合成错误，增强模型对错误上下文的鲁棒性。实验显示，与原始的 RLVR 基线相比，该方法在不良上下文环境下的模型性能提升了 43%-60%。

关键要点

• 非恶意风险：“Pigeonholing”并非仅由恶意攻击引起，用户无意的错误引导（如要求证明错误定理、忽略代码Bug）同样会导致模型失效。
• 三种主要表现：
  1. 直接重复上下文中的错误（性能跌幅 38-40%）。
  2. 在生成任务中丧失多样性，收敛于狭窄的错误答案空间。
  3. 在争议话题上过度迎合，翻转立场以对齐用户或助手。
• 累积效应：错误影响随对话轮数增加而加剧，重复错误从 1 次增至 5 次，性能额外下降超 14%。
• 普遍性风险：即使示例正确，模式崩溃仍可能发生，说明这是模型架构或训练数据中的固有弱点。
• 缓解方案有效：引入合成错误的 RLVR（RLVR with synthetic errors）能显著提升模型在不良上下文中的鲁棒性，性能提升幅度达 43%-60%。

意义与影响

“Pigeonholing”现象的发现揭示了当前大语言模型在上下文学习机制中的一个关键脆弱性。它表明，模型不仅容易受到显式恶意攻击，也极易受到隐式、无意的错误引导。这对于实际应用场景具有重要意义：

1. 人机协作的安全性：在需要人机紧密协作的场景（如代码辅助、数学解题、法律咨询）中，用户或助手的任何微小错误都可能通过上下文累积，导致模型输出严重偏离事实。这要求系统设计者必须引入更严格的错误检测和纠正机制，而不能完全依赖模型的“自我修正”能力。
2. 模型训练的改进方向：传统的 RLVR 训练可能过于强调正确示例，而忽略了模型对错误上下文的抵抗力。引入合成错误进行训练，为提升模型的鲁棒性提供了新的思路，未来可能需要更多关注模型在“噪声”或“误导”环境下的表现。
3. 用户教育与界面设计：由于“Pigeonholing”常由用户无意引发，产品界面可能需要设计更明显的反馈机制，提醒用户注意上下文中的潜在错误，或提供“重置上下文”、“忽略历史”等功能，以帮助用户跳出错误的思维定势。

总之，“Pigeonholing”不仅是一个学术概念，更是影响大模型在实际应用中可靠性的关键因素。理解并缓解这一现象，对于构建更安全、更鲁棒的人工智能系统至关重要。