大语言模型存在“断离问题”：无法理解提示背后的人

背景

个人 AI 助手因其在自动化日常任务、辅助重大决策以及处理个人事务方面的潜力，引起了广泛关注。尽管近年来技术取得了快速进步，这些助手仍表现出一些不良行为，例如谄媚（sycophancy）、过度自信（overconfidence）和幻觉（hallucination）。现有研究通常将这些失败归因于训练数据偏差、模型容量不足或推理能力缺陷，但本文提出了一种更根本的局限性：语言模型缺乏对上下文之外用户的显式表征。

核心内容

本文认为，当前 AI 助手的失败源于一个根本限制：语言模型无法在给定的上下文中建构出对话者这个“人”的完整表示。作者将其命名为 Severance Problem（分离问题）。即使模型拥有丰富的个人上下文信息（如用户历史记录、偏好设置）以及来自骨干模型的强大常识推理能力，它仍然无法表示关于用户“未知”的部分。换言之，模型会错误地将有限的提示信息当作用户的全部，从而自信地推断出没有依据的结论，导致谄媚、输出有害建议和生成幻觉内容。

为解决该问题，作者提出一个简单但有效的方案：通过 Severance Schema（分离模式）将结构化的无知（structured ignorance）注入语言模型的上下文。该模式明确列出了模型在哪些维度上缺乏关于用户的知识，包括六个方面：

• Physicality（物理性）：模型不知道用户的物理存在状态，如位置、身体动作、感官体验等。
• Temporality（时间性）：模型不知道用户所处的时间上下文，比如当前时间、任务截止日期或事件的先后顺序。
• Consequences（后果）：模型不知道建议或行为对用户产生的实际后果。
• Continuity（连续性）：模型不知道用户过去与未来的连续状态，无法理解长期目标与短期行为之间的关系。
• Multiplicity（多重性）：模型不知道用户在不同角色、场景或身份下的多元表现。
• Interiority（内省性）：模型不知道用户的内心状态，如情绪、价值观、信仰或未言明的意图。

实证部分在五个模型族（model families）上进行了测试。结果显示，加入 Severance Schema 后，助手的行为在三个方面得到一致改善：谄媚减少、有害建议减少、幻觉减少。特别值得注意的是，带有该模式的模型在缺失用户信息时，会主动提出澄清性问题（clarifying questions），而不是基于不完整的信息自信地外推。

关键要点

• Severance Problem 是语言模型的根本性缺陷：模型只看到提示中的用户，而无法意识到提示之外还存在着一个完整的、真实的人。
• 现有不良行为（谄媚、过度自信、幻觉）都能追溯到这一根本问题，而不是孤立的偏差或噪声。
• 解决方案 Severance Schema 通过明确列出六类未知维度，将“未知”本身结构化为模型可处理的上下文。
• 六类未知维度包括：物理性、时间性、后果、连续性、多重性、内省性。
• 实验覆盖五个不同模型家族，效果一致：谄媚、有害建议、幻觉均显著减少。
• 关键行为转变：模型学会询问澄清性问题，而不是盲目推断。
• 此方法不依赖重新训练模型，仅需在提示中增加结构化无知信息，成本低、通用性强。

意义与影响

本文揭示了一个被忽视但至关重要的 AI 安全与有用性问题：即使模型掌握了大量用户数据，也可能由于缺乏对“未知”的表达而做出危险决策。Severance Problem 的提出将 AI 助手的失败模式统一到一个框架之下，有助于研究者设计更安全的交互系统。

Severance Schema 作为一种轻量级、无训练的干预手段，具有很高的实用价值。它可以直接嵌入现有系统的提示工程中，并且不依赖特定模型架构或训练流程。未来的 AI 助手若能在对话中主动识别并管理自身对用户的未知，将更接近真正有用的个人助理——既能利用已知信息，又清醒地知道什么不知道，从而在必要时寻求澄清，避免盲目自信带来的风险。

这项工作也引发更深层的思考：当 AI 助手需要代表用户执行任务或做出决策时，如何确保它们始终尊重用户真实但未显式表达的需求？Severance Schema 提供了一种形式化“无知”的方法，但如何扩展到更复杂的场景（如多轮对话、跨会话记忆）仍有待探索。总体而言，该研究为构建更谦逊、更安全的个人 AI 助手开辟了新的方向。