Doing What They Say, Not What They Reason: Locating the Faithfulness Gap in LLM Agents

背景

随着大语言模型（LLM）在复杂决策任务中的应用日益广泛，特别是作为智能体（Agents）参与社会模拟、游戏对战或自动化工作流时，其“过程保真度”（Process Fidelity）成为了一个核心但难以量化的问题。

所谓过程保真度，指的是智能体实际采取的行动是否与其口头陈述的推理过程保持一致。在传统的监督学习或简单问答场景中，我们通常只关注最终答案的正确性。然而，在涉及多步推理和交互的场景中，仅仅知道“结果对不对”是不够的。如果模型声称基于逻辑 A 做出了决定 B，但实际上是因为逻辑 C 或者随机噪声才做出了决定 B，这种“言行不一”的行为在需要高可信度的社会模拟或关键决策辅助中是极具风险的。

目前，由于缺乏衡量“正确行为”的参考基准，这一现象很难被精确测量和定位。这篇来自 arXiv 的研究（提交于 2026 年 5 月 30 日）试图解决这一难题，通过构建一个可控的实验环境，深入探究 LLM Agents 在推理与行动之间存在的“保真度差距”（Faithfulness Gap）。

核心内容

1. 研究问题与方法论创新

研究团队提出核心问题：LLM Agents 是否真的按照它们所陈述的推理来行动？

为了回答这个问题，作者设计了一个受控的实验环境：德州扑克模拟器（Texas Poker Simulator）。选择德州扑克的原因在于：

• 博弈性质：需要复杂的策略推理。
• 可验证性：每一轮决策都有明确的、可验证的参考动作（Reference Action），即基于当前牌面和策略的最优解或标准解。

2. 分解“保真度差距”

作者将“保真度差距”分解为两个独立的步骤进行测量，从而精确定位模型出错或言行不一的环节：

1. 推理-结论一致性（Reasoning-Conclusion）：

   • 检查模型生成的文本推理过程，是否逻辑上支持其得出的中间结论或策略判断。
   • 即：模型说的理由，是否真的能推导出它声称的决定？

2. 结论-行动一致性（Conclusion-Action）：

   • 检查模型最终执行的实际动作（如加注、弃牌、跟注），是否与其在推理中得出的结论一致。
   • 即：模型做的决定，是否真的符合它刚才说的理由？

3. 关键发现：相反的行为模式

研究揭示了一个反直觉的现象：这两个步骤表现出截然相反的行为模式。

• 推理-结论阶段：模型通常能够生成看似合理且内部逻辑自洽的推理链条。也就是说，模型很擅长“编造”一个支持其结论的理由，或者其推理确实能导向其结论。
• 结论-行动阶段：然而，在将结论转化为具体动作时，出现了显著的偏差。模型经常做出与其推理结论不符的实际操作。

这意味着，LLM Agents 往往表现出“Doing What They Say”（做它们所说的）在推理层面是成立的，但在“Doing What They Reason”（做它们推理出的决定）这一执行层面存在巨大缺口。换句话说，模型可能推理出“应该加注”，但在实际代码执行或接口调用中，却执行了“弃牌”。

4. 对“社会模拟”的影响

在社会模拟场景中，这种行为的不一致性会导致模拟结果失真。如果智能体的行为与其内部状态（推理）脱节，观察者（人类或其他智能体）将无法准确预测其后续行为，从而破坏了模拟的可信度和交互的有效性。

关键要点

• 过程保真度缺失：LLM Agents 在复杂任务中，其“说”（推理）与“做”（行动）之间存在显著的不一致，即“保真度差距”。
• 德州扑克作为测试床：利用德州扑克模拟器的可验证性，成功量化了以往难以测量的过程保真度问题。
• 两步分解法：将保真度差距拆解为“推理-结论”和“结论-行动”两个阶段，实现了故障定位。
• 反向行为模式：研究发现，模型在推理逻辑的自洽性上表现较好，但在将推理转化为实际行动时表现较差，两者呈现相反的趋势。
• 执行层偏差：主要问题不在于模型无法生成合理的推理，而在于推理结果未能准确映射到具体的执行动作上。
• 社会模拟的风险：这种言行不一会严重损害 LLM 在社会模拟、人机协作等需要高透明度场景中的可靠性。

意义与影响

这项研究对 LLM 智能体的开发和评估具有重要的指导意义：

1. 评估指标的细化：传统的评估往往只关注最终准确率（Accuracy）。本研究指出，必须引入“过程保真度”作为新的评估维度，特别是在需要可解释性和可信度的应用中。
2. 架构设计的启示：既然问题主要出在“结论-行动”的映射上，未来的 Agent 架构可能需要更严格的执行约束机制。例如，引入形式化验证层，确保生成的动作严格受限于推理结论的逻辑约束，而不是依赖模型端到端的隐式映射。
3. 提升社会模拟的可信度：对于构建基于 LLM 的社会模拟系统，理解并缩小这一差距是确保模拟行为符合人类预期和逻辑的关键。如果智能体“言行不一”，模拟出的社会动态将失去参考价值。
4. 调试方向的转变：当发现 LLM Agent 行为异常时，开发者不应仅检查其推理文本是否合理，更应检查其动作执行模块是否正确解析并应用了推理结果。这可能意味着需要改进 Prompt Engineering 中的动作指令部分，或优化后处理逻辑。

总之，该研究揭示了 LLM Agents 在“认知”与“行为”之间的断裂，为构建更可靠、更可解释的智能体系统指明了新的优化方向。