面向智能体任务的对象中心环境建模方法

背景

大型语言模型（LLM）智能体能够通过累积经验来提升自身能力，但随着交互过程的增多，自由形式的文本记忆会变得难以维护、验证和复用。近期的一些符号方法尝试学习可执行的技能或程序化的世界模型，但这些方法往往只存储局部的操作过程，或者假设环境具有过于简化的动态特性。这种局限性使得智能体在面对复杂、变化的现实任务时，难以将分散的经验系统化地整合进一个连贯、可验证的世界表征中。

核心内容

本文提出了一种名为Object-Centric Environment Modeling（OCM） 的框架，它将智能体的交互经验组织成一个可执行的、以对象为中心的环境模型。OCM维护两个相互关联的代码库：

• 对象知识（Object Knowledge）：以 Python 类的形式定义环境中的实体及其交互机制。这些类封装了环境中的对象类型、属性以及它们之间允许的操作。
• 过程知识（Procedure Knowledge）：记录可重用的交互模式，这些模式以代码函数的形式存在，必须导入并使用对象模型中的类。每个过程都对应一个完整的子任务完成策略。

OCM 工作于在线（online）设置中：在每个回合（episode）结束后，智能体反思整个交互轨迹，同时更新对象知识和过程知识两个知识库，并验证所有已有的过程能否在更新后的对象模型上正确执行。这种验证确保了知识库的一致性和可复用性。

在未来的交互过程中，智能体使用渐进式知识披露（progressive knowledge disclosure） 策略：首先检查紧凑的代码签名（code signatures），仅当需要时才读取完整的源代码。这大幅降低了检索和理解的认知开销。

实验结果表明，OCM 在多个基准测试中取得了最佳平均排名，并显著减少了无效动作的数量。这说明智能体能够通过构建以对象为中心的环境模型获得实质性的性能提升。

关键要点

• OCM 将经验编码为可执行的 Python 代码，而不是自由文本，从而避免了传统文本记忆的维护和验证难题。
• 知识库分为对象层和过程层，对象层定义世界实体与机制，过程层定义高层交互模式，二者通过导入关系绑定。
• 采用在线学习范式：每轮交互后自动更新两个知识库，并运行验证以确保新知识和旧过程兼容。
• 渐进式知识披露机制让智能体快速筛选相关过程，降低搜索成本，只在必要时深入阅读代码。
• 实验显示 OCM 在多任务基准上平均排名最高，并有效抑制了无效动作，验证了结构化环境模型对智能体决策的正向作用。

意义与影响

OCM 为 LLM 智能体的经验积累提供了一种系统化的符号路径。它克服了自由文本记忆的可维护性瓶颈，同时避免了过度简化的世界模型假设。通过将环境知识组织为可执行的对象模型和过程库，智能体能够以模块化的方式学习、验证和重用技能。这一方法尤其适用于那些需要长期、在线交互且环境结构相对稳定的代理任务（如家庭机器人、游戏 AI 或虚拟助手）。未来，OCM 可进一步与语言模型本身的推理能力结合，实现更高效的模型编辑与知识迁移，推动智能体从“记忆对话历史”走向“构建可运行的世界模拟器”。