Incognita评估生成式代理在社交分布式任务环境中的行动

背景

在社交环境中实现有效行动能力，取决于智能体何时主动寻求知识、何时采取行动，以及其行动是否基于所获取的信息得到合理验证。现有的 grounded 基准（如具备可执行动作、持久状态和可验证结果的交互环境）主要关注任务完成的客观可验证性，而社交模拟环境则侧重于语言智能体之间的丰富交互。然而，这两类评估范式之间存在明显割裂：前者缺乏社交知识分布的现实复杂性，后者缺乏可验证的实体动作后果。本文旨在弥合这一差距，提出一种将两者结合的评估设定——社交分布式任务环境（Socially Distributed Task Environments）。

核心内容

社交分布式任务环境的定义

作者定义了社交分布式任务环境（Socially Distributed Task Environments）作为交互式环境的子类，其核心特征包括：

• 任务相关的知识被划分到角色隔离的参与者（agents/entities）之间，每个参与者仅拥有部分知识；
• 对任务至关重要的动作（consequential actions）只能通过这些角色隔离的参与者来执行，而非由智能体直接作用于环境状态。
• 通信（communication）被用作对角色划分知识的探索（exploration），而接地动作（grounded action）则被用作对环境状态的利用（exploitation）。

Incognita 框架

为解决上述评估需求，作者提出了 Incognita，一个基于 Concordia（一个用于构建社交模拟环境的框架）的评估框架。Incognita 将社交交互与接地执行分离，其架构包含以下关键组件：

• 路由机制：智能体将消息路由给用户（user）或专家（specialist entities）；
• 专家中介：专家实体负责判断并中介可执行的操作（admissible operations）；
• 确定性子环境：对通过专家验证的操作，在规范状态（canonical state）上执行；
• 离线评估器：根据继承的奖励（inherited rewards）评分，输出最终结果。

Incognita-Retail 实例

Incognita-Retail 将 tau-bench 中经典的零售场景（retail domain）转化为多实体环境：

• tau-bench 原本是一个单智能体对话式任务基准，用户与系统交互完成订单、退货等操作。
• Incognita-Retail 将原本单一用户角色拆分为多个实体（如客服、仓储主管、财务等），每个实体持有部分任务知识（如库存信息、退货规则、账务状态等）。
• 环境保留 tau-bench 原有的最终状态奖励语义（final-state reward semantics），即最终结果可被客观验证。

实验设置

作者使用 Incognita-Retail 评估了三种主流的生成式智能体模型（generative agent models）：

• 18 个任务，按社交广度（social breadth）分层（即涉及知识分布在不同实体间的分散程度）；
• 总共 540 次试验（18 tasks × 3 models × 10 seeds）。

实验结果

• 奖励进步：成功率从 0% 上升到 8.9% 和 17.2%（随模型能力增强）；
• 行为变化：
  • 过早终结（premature finalization，即智能体未经充分探索就认为任务完成）从 100% 下降到 87% 和 58%；
  • 更强的智能体能够挖掘更多隐藏知识（hidden knowledge）、接触更多实体、尝试更多接地写操作（grounded writes）。
• 可靠性依然低下：尽管有明显的行为进步，但整体成功率仍然很低（最高 17.2%）。
• 主要发现：社交分布式任务环境能够在可靠的最终成功之前，暴露出智能体的行为模式——包括知识挖掘（knowledge elicitation）、来源选择（source selection）、接地动作尝试（grounded action attempts）以及过早完成信念（premature completion belief）。

关键要点

• 任务知识分布：社交分布式任务环境要求智能体主动与多个角色隔离的参与者通信，以收集分散的任务知识，并通过合法操作接地执行，这比单一对话式基准更接近现实协作场景。
• Incognita 架构：通过将社交交互（通信）与接地执行（操作）分离，Incognita 既保持了环境状态的确定性，又模拟了社交中的知识壁垒和权限控制。
• Incognita-Retail 实现：将 tau-bench 零售任务转化为多实体环境，保留最终状态可验证性，同时引入了社交知识分布。
• 行为进展：更强模型在三个方面表现出明显进步——更主动挖掘知识、接触更多实体、尝试更多接地写操作，但该进步并未转化为高成功率，表明当前智能体在复杂社交任务中的可靠性严重不足。
• 过早终结行为：所有模型（包括最强模型）都存在不同程度的过早终结，表明智能体对“何时知识已足够”的判断力很差。
• 评估价值：该评估设定能够捕捉到标准基准无法暴露的智能体社交推理缺陷，例如：是否能够识别需要向谁询问、何时行动、以及如何避免基于不完整信息做出错误结论。

意义与影响

• 填补评估空白：现有 grounded 基准（如 BabyAI、ALFWorld）缺乏社交知识分布，而社交模拟基准（如 Concordia、ChatEval）缺乏可验证的实体动作。Incognita 首次将两者有机结合，为评估通用 AI 智能体的社交能力提供了一个兼具交互丰富性和结果可验证性的新基准。
• 揭示行为模式：实验结果明确显示，即使是最先进的生成式智能体，在需要跨角色收集知识并谨慎执行操作的社交任务中，成功率仍然极低。更重要的是，这些智能体表现出明显的过早终结倾向，暗示它们缺乏对“知识不完整”的元认知能力。
• 未来方向：作者指出，社交分布式任务环境可以有效暴露智能体在“何时收集信息、何时行动、何时停止”三个关键决策上的不足，这为开发具有更好社交推理和不确定性管理能力的智能体提供了明确的改进方向。
• 开源价值：Incognita 框架基于 Concordia，代码和数据可复现（如 arXiv 页面提供的 Hugging Face、DagsHub 等链接），有助于社区在更广泛的社交任务场景中系统性地评估和改进生成式智能体。