开源工具MafiaScope用游戏探针揭示LLM智能体内心信念

背景

在社交推理游戏中，LLM agent 的公开行为往往掩盖了其真实的社会推理过程：一个投票正确的 agent 可能只是猜测，而一个擅长撒谎的 agent 几乎不会留下任何关于它实际相信什么的痕迹。传统的评估方法通常只观察 agent 的最终动作（如投票或发言），无法深入探测 agent 在决策过程中的信念动态。这种“黑盒”视角限制了对机器心智理论（Theory of Mind, ToM）能力的精确测量——即 agent 是否能够推理他人的信念、欲望和意图。研究者迫切需要一种非侵入性的、具有时间分辨率的信念探测工具，以揭示 LLM agent 在复杂社交环境中的内部推理轨迹。

核心内容

MafiaScope 是一个开放测试平台，将社交推理游戏“黑手党”（Mafia）转化为一台测量机器心智理论的仪器。其核心设计原则是：非侵入性——探测问题不会影响游戏进程；时间分辨率——在每次公开发言后采集信念状态；自动评分——答案与游戏引擎已知的 ground truth 自动比对。

工作流程：在一局黑手党游戏中，每当任何一位 agent 公开发言后，所有 agent 都会被要求私密地回答一组可配置的结构化探针问题。这些答案永远不会重新注入游戏，因此不会污染后续的游戏状态或 agent 策略。探针答案由系统自动评分，分值依据游戏引擎掌握的绝对真相（如谁是真正的黑手党、哪些玩家还活着等）。

交互式可视化工具：MafiaScope 提供了一个交互式可视化器（interactive visualizer），能够渲染信念轨迹（belief trajectories）。它包括：

• 第一人称模式（impersonate mode）：从某个特定 agent 的视角展示整局游戏。
• 多面板图表：显示时间对齐的准确率（accuracy）和标定度（calibration）曲线。
• 反事实回放（counterfactual replay）：对局记录中的任意步骤创建分支，允许用户探索“如果某一步不同，后续会怎样”。

案例研究：作者使用 DeepSeek 模型进行了 32 局游戏，收集了 13,815 条解析后的探针答案。主要发现：

• 陈述的置信度（stated confidence）标定较差，期望标定误差（Expected Calibration Error, ECE）为 0.17。
• Agent 过度预测自己被人怀疑的概率，实际被怀疑的次数约为其预测值的 1.5 倍。
• 进行了 30 分支（30-fork）的反事实回放实验，完整演示了端到端的工作流。

发布内容：MafiaScope 引擎、可视化工具以及一个包含 200+ 局跨模型游戏的语料库均已以开放许可发布。提供实时演示网址和录屏链接。

关键要点

• 非侵入性探测：探针问题在每次公开发言后私密回答，不返回游戏，不改变 agent 行为。
• 时间分辨率：每轮发言后采集信念状态，允许追踪 agent 信念随游戏进程的动态变化。
• 自动评分与 ground truth 对齐：探针答案与游戏引擎掌握的绝对真相（如角色身份、存活状态）自动比对，无需人工标注。
• 反事实回放：支持对游戏历史中的任意步骤创建分支，探索不同决策路径下的信念演变。
• 低标定度问题：DeepSeek 案例中，ECE 高达 0.17，说明 agent 对自身信念的置信度与实际情况严重不匹配。
• 过度怀疑偏差：Agent 预测自己会被怀疑的频率是实际被怀疑的 1.5 倍，表现出系统性的过度社会警觉。
• 开放资源：完整工具链和 200+ 局跨模型游戏数据集开源，便于复现和扩展。

意义与影响

MafiaScope 为 LLM 的社会推理研究提供了一种可重复、可量化的实验范式。其非侵入性设计避免了传统探测方法对 agent 策略的干扰，使得研究者能够获取“纯净”的信念时间序列。这对理解 LLM 是否具备真正的心智理论能力至关重要：以往仅通过最终动作评估可能高估或低估 agent 的社会认知水平。

该工具还暴露了当前 LLM（如 DeepSeek）在信念标定上的显著缺陷——agent 不仅对自身知识不自信，而且过度担心被他人怀疑，这种偏差可能影响其在合作与竞争场景中的决策质量。反事实回放功能则允许研究者系统地探索不同干预对推理链的影响，为解释性分析和鲁棒性测试提供了新途径。

随着语言模型被部署到更复杂的多 agent 交互系统（如谈判、协作、角色扮演）中，像 MafiaScope 这样的信念探测工具将成为评估和调试模型社会行为的重要手段。其开源特性也将推动社区更广泛地采用统一评估标准，加速这一方向的研究进展。