← 返回信息流
技术博客arXiv cs.CL·7 天前

UserHarness:利用用户心智构建更强大的智能体心智理论

原标题:UserHarness: Harnessing User Minds for Stronger Agent Theory-of-Mind

速览

该研究提出UserHarness框架,将心智理论推理重构为显式的用户心智重建过程。该框架分解了用户心智状态、外部环境及行为间的关系,使智能体能精准追踪用户的观察、信念、意图及行动。在五个基准测试中,该方法准确率高达95.94%,显著优于现有方法,为构建更自适应的助手奠定了基础。

AI 深度解读

UserHarness:通过重构用户心智,赋予智能体更强的“心智理论”能力

背景

构建高效智能体助手(Agent Assistants)的核心挑战之一,在于准确理解用户的信念(Beliefs)与意图(Intentions)。在人工智能领域,这种能力通常通过“心智理论”(Theory-of-Mind, ToM)任务进行评估。ToM 要求智能体能够站在用户的视角进行推理,预测或解释用户的行为。

然而,现有的许多方法在处理 ToM 任务时,往往采用复杂的流水线,间接地对用户行为进行建模,而未能显式地重构用户的心智状态。这种处理方式忽略了问题的核心结构:

  1. 用户基于其信念采取行动,而这些信念是通过观察环境更新的;
  2. 信念和意图共同决定了行动,行动反过来又改变环境;
  3. 社会推理往往涉及嵌套的信念,即关于“他人相信什么”或“他人意图什么”的信念。

由于缺乏对这一核心结构的显式建模,现有方法在复杂场景下的表现往往受限。

核心内容

针对上述痛点,研究人员提出了 UserHarness,这是一个旨在通过显式重构用户心智来强化智能体心智理论能力的简单框架。

1. 核心理念:从行为建模转向心智重构

UserHarness 的核心创新在于将 ToM 推理重新定义为“显式的用户心智重构”(explicit user-mind reconstruction)。它不再仅仅试图拟合用户的行为输出,而是深入到底层,试图还原用户内部的认知过程。

2. 框架机制:分解心智状态与环境交互

UserHarness 将用户的心理状态分解为几个关键维度,并建立其与外部环境的联系:

  • 观察(Observations):追踪用户看到了什么。
  • 信念(Beliefs):基于观察,用户形成了什么信念。
  • 意图(Intentions):基于信念,用户想要达成什么目标。
  • 行动(Actions):基于意图,用户采取了什么行动。

通过这种分解,智能体能够清晰地追踪“用户观察了什么 -> 用户相信什么 -> 用户意图什么 -> 用户做了什么”这一完整的因果链条。这种结构化的推理方式使得智能体能够处理涉及嵌套信念的复杂社会推理任务。

3. 实验结果

在五个基准测试(benchmarks)上,UserHarness 展现了显著的性能提升:

  • 宏观准确率(Macro Accuracy):最高达到 95.94%
  • 相对提升:相比现有的推理方法,性能提升了超过 15%;相比最强的仅提示词(prompt-only)基线方法,提升了约 20%

这些结果表明,通过从用户心智的根源进行推理,可以极大地增强智能体的鲁棒性和理解能力。

关键要点

  • 问题本质:现有 ToM 方法多采用间接行为建模,缺乏对用户心智状态(信念、意图)的显式重构,导致在处理复杂嵌套推理时表现不佳。
  • 解决方案:UserHarness 提出了一种简单但有效的框架,将 ToM 推理转化为显式的用户心智重构任务。
  • 方法论:通过分解并追踪用户的“观察-信念-意图-行动”链条,智能体能够更准确地模拟用户视角。
  • 性能突破:在五个基准测试中,UserHarness 达到了 95.94% 的宏观准确率,显著优于现有最先进方法(提升 >15%)和最强提示词基线(提升 ~20%)。
  • 未来方向:研究证实,稳健的用户理解必须根植于对用户心智深层结构的推理,这为构建更具适应性的未来智能助手奠定了坚实基础。

意义与影响

UserHarness 的提出标志着智能体在“社会智能”方向上的重要进步。

  1. 从黑盒到白盒的推理:传统的智能体推理往往是一个黑盒过程,而 UserHarness 通过显式重构心智状态,使得智能体的推理过程更加透明和可解释。这不仅提高了准确性,也增强了人类用户对智能体决策的信任。
  2. 提升人机协作效率:能够准确理解用户信念和意图的智能体,能够在更复杂的任务中提供个性化的帮助,减少沟通成本,实现更自然的人机协作。
  3. 奠定自适应助手的基础:研究结果指出,Robust user understanding(稳健的用户理解)是构建未来自适应助手的关键。UserHarness 证明,通过模拟人类的心智理论机制,智能体可以更好地适应动态变化的环境和用户需求。

总之,UserHarness 不仅是一个性能提升的技术方案,更是一种新的范式,强调了在构建智能体时,深入理解“用户如何思考”比单纯“预测用户做什么”更为根本和重要。

查看原文 →arxiv.org