进程内检索实现语言智能体扩展工作记忆

背景

语言智能体通常运行在一个“观察–推理–行动”的循环中。然而，它们用于推理的记忆存储却位于循环之外：每轮最多查询一次外部存储。这种设计带来的根本问题是，记忆的访问延时与智能体的交互节奏脱节——外部存储（如云数据库）的响应时间在数十到数百毫秒级别，如果每步都去检索，端到端延迟可能暴涨83倍。以往的解决方案倾向于管理而非质疑这一成本：通过服务层调度来隐藏延迟，或者采用“记忆优先”设计将检索限制为每轮一次。但本文作者认为，延迟是存储位置的性质，而非“循环内检索”模式本身的问题：如果将存储移入进程内部，响应时间可降至约100微秒，比网络存储快三个数量级。此时，每步检索的代价几乎可以忽略不计。

核心内容

本文的核心论点是：将检索移入语言智能体的主循环（in‑process retrieval），使其成为智能体扩展的工作记忆（extended working memory），而非仅仅是一个偶尔查阅的工具。这一主张基于延展心智论（extended‑mind thesis）的对等原则：如果一个存储足够快、能持续且直接地可用，它就构成了工作记忆的一部分。

研究通过实验验证了因果关系：在固定每轮记忆延迟预算的前提下，仅改变存储的应答速度，发现冗余动作的数量随延迟单调增长。具体而言，在进程内存储速度下（~100μs），12个动作中冗余动作数为0.0；而在110ms云往返延迟下（使用gpt‑5‑nano和gpt‑5‑mini），冗余动作数升至7.2（精确置换检验p=0.0079）。这表明延迟本身直接导致了智能体效率下降。

端到端演示进一步证实了效果：在四种GPT‑5级别模型上，使用有界窗口（bounded window）且启用循环内记忆时，回忆准确率从0/5提升至3.6‑4.8/5，存储操作的中位延迟为80‑165微秒。值得注意的是，一个简单的“在每轮回复中重述所有已知事实”的基线也能完美解决问题，但代价是token消耗随工作集大小线性增长，而循环内记忆的token成本固定。

实验还发现，在所有244次写入操作中，没有任何事实丢失；所有回忆失败均归因于智能体的读取策略，而非存储本身。此外，测量结果将瓶颈重新定位到嵌入（embedding）步骤：通过网络进行嵌入约需200‑400ms；而将进程内存储与小型本地嵌入器配对后，完整操作（存储+检索）的实测延迟降至约40微秒。

关键要点

• 延迟作为存储位置的函数：网络存储（云数据库）响应时间在10‑100ms量级，而进程内内存存储可达~100μs，差距约1000倍。
• 因果实验设计：固定每轮记忆延迟预算（如110ms），仅改变存储的物理位置（进程内 vs. 网络），结果冗余动作数从0.0增至7.2，统计显著。
• 端到端性能提升：在GPT‑5‑nano、GPT‑5‑mini等模型上，循环内记忆使回忆率从0/5提升至3.6‑4.8/5，且存储操作延迟保持在80‑165微秒。
• 瓶颈转移：传统上认为检索器是瓶颈，但实际主要延迟来自嵌入步骤（网络调用200‑400ms）；用小模型本地嵌入器可将总操作延迟压缩至~40μs。
• 存储可靠性：所有244次写入均被保持，无数据丢失；失败的回忆均源于智能体读取策略（如未正确查询或解析），而非存储本身。
• 与简单基线对比：强制每轮重述所有已知事实也能完美回忆，但token开销随记忆大小线性增长；循环内记忆开销固定，更高效且可扩展。

意义与影响

本文挑战了语言智能体设计中的一项默认假设：记忆检索必须放在循环之外以避免延迟。通过实证表明，只要将存储移至进程内部，每步检索的代价即可忽略，从而释放出“记忆在循环中”这一更自然的智能体架构。这一思路不仅提升了回忆准确率和任务效率，还消除了冗余动作，使智能体行为更简洁。

从理论层面，该工作为延展心智论在AI系统中的应用提供了具体例证：一个足够快的持久存储可以成为智能体认知架构的有机组成部分，而非外部工具。这启发未来的语言智能体设计可以拥抱持续的、低延迟的记忆更新，而非局限于每轮一次的查询。

从工程实践角度，研究指出嵌入步骤才是真正的性能瓶颈，并给出了低成本本地嵌入器的解决方案。这一发现有助于推动可本地部署、低延迟的语言智能体系统，尤其适合需要实时交互和大量记忆读取的场景（如自主任务规划、对话系统、机器人控制）。同时，它也为衡量和优化智能体记忆系统的延迟预算提供了框架。