OmniToM：通过显式信念建模评估大语言模型的“心智理论”

背景

“心智理论”（Theory of Mind, ToM）是指个体推断他人知识、意图和情感的能力。在人工智能领域，尤其是针对大型语言模型（LLMs）的研究中，ToM 被视为衡量模型社会推理能力的关键指标。

然而，现有的评估范式存在显著局限。目前，ToM 能力通常通过“端点问答”（end-point question answering）来评估，即仅根据模型对社会推理查询的最终回答来判断其表现。这种黑盒式的评估方式掩盖了一个核心问题：模型是否真正构建了进行稳健推理所需的底层心理状态表征？特别是在涉及分歧、演变或错误信念（false beliefs）的复杂场景中，仅看最终答案无法揭示模型内部推理过程的真实性与完整性。

为了填补这一研究空白，研究人员引入了 OmniToM，这是一个旨在直接评估信念结构显式建模能力的基准测试（Benchmark）。

核心内容

OmniToM 的核心创新在于要求模型对叙事中所有相关行动者（actors）的信念结构进行显式建模。这些信念结构由“信念命题”（belief propositions）组成，即关于世界或另一行动者心理状态的最小化真实陈述。这种格式允许将知识、意图、情感和错误信念统一进行分析。

OmniToM 的评估过程分为两个阶段：

1. 信念提取（Belief Extraction）：模型需要从故事中提取与其社会动态相关的信念。
2. 信念标注（Belief Labeling）：模型需为每个信念分配一个七维模式标签，涵盖以下维度：
   • 递归阶数（Recursive order）
   • 真值状态（Truth status）
   • 知识获取（Knowledge access）
   • 显式性（Explicitness）
   • 内容类型（Content type）
   • 心理来源（Mental source）
   • 上下文（Context）

数据集构建： OmniToM 基于现有的 ToMBench 故事语料库，从中选取了 895 个故事，并扩充了 22,343 个已标注的信念命题。数据标注采用了一种经过人类校准的 LLM 辅助标注管道，以确保数据质量。

评估结果： 在零样本（zero-shot）评估中，OmniToM 揭示了当前 LLMs 存在一个“行动者特定的信念追踪瓶颈”（actor-specific belief-tracking bottleneck）。具体表现为：

• 当前的大语言模型在将叙事事实转化为行动者信念和共享心理状态时，难以处理所需的“知识获取”和“表征决策”。
• 这意味着模型虽然在最终答案上可能表现尚可，但在构建中间心理状态表征的过程中存在根本性缺陷。

关键要点

• 评估范式的转变：从仅关注最终答案的“端点问答”转向关注中间推理过程的“显式信念建模”。
• 细粒度分析：通过七维模式标签（如递归阶数、真值状态等），对信念进行多维度、细粒度的拆解和评估。
• 数据规模与质量：构建了包含 895 个故事和 22,343 个标注信念命题的高质量数据集，采用人类校准的 LLM 辅助标注流程。
• 发现核心瓶颈：当前 LLMs 的主要弱点不在于最终推理结果，而在于无法准确追踪不同行动者的特定信念，特别是在处理知识访问权限和表征转换时。
• 通用性格式：信念命题提供了一种统一格式，使得知识、意图、情感和错误信念可以在同一框架下被分析和比较。

意义与影响

OmniToM 的提出对大语言模型的社会认知能力评估具有深远意义：

1. 揭示“黑盒”真相：传统的 ToM 评估往往让模型通过“捷径”得出正确答案，而 OmniToM 通过要求显式建模，迫使模型展示其内部推理逻辑，从而更真实地反映其社会认知能力。
2. 指导模型优化：通过识别“行动者特定的信念追踪瓶颈”，研究人员可以针对性地改进模型架构或训练策略，特别是在多主体交互、动态信念更新等复杂场景中。
3. 推动可解释性研究：显式信念建模为理解 LLMs 如何处理社会信息提供了可解释的中间表示，有助于构建更透明、更可靠的社会智能系统。
4. 促进人机协作：更准确的心智理论能力是未来人机协作（如助手、伴侣机器人）的基础。OmniToM 为开发能更好理解人类心理状态、意图和情感的人工智能系统提供了重要的评估工具和基准。

总之，OmniToM 不仅是一个新的基准测试，更是一种评估范式的革新，它强调了在复杂社会推理中显式心理状态表征的重要性，为未来 LLMs 的社会认知能力发展指明了方向。