GitOfThoughts：可回放、可对比、可合并的版本控制推理与智能体记忆

背景

当前，大型语言模型（LLM）的推理过程具有极强的“瞬时性”和“不可追溯性”。在传统的推理场景中，思维链（Chain of Thought）随着上下文窗口的刷新而消失；搜索树中被剪枝的分支没有留下任何记录；而现有的记忆缓冲区（Memory Buffers）通常被视为黑盒，无法像代码或数据那样进行差异对比（Diff）、合并（Merge）或审计（Audit）。

然而，在软件工程领域，代码、基础设施、数据以及实验结果早已实现了完善的版本控制。这种不对称性导致了一个核心问题：既然其他复杂软件过程都能被版本化管理，为何智能体的推理过程却不行？

基于此背景，研究团队提出了 GitOfThoughts 框架，旨在将智能体的推理树存储为类似 Git 的版本库，从而赋予推理过程可回放、可审计和可合并的特性。

核心内容

1. GitOfThoughts 框架设计

GitOfThoughts 的核心理念是将智能体的推理过程映射为 Git 仓库的结构，具体映射规则如下：

• 提交（Commit）：每一个经过评分（Scored）的思维节点（Thought）被视为一次提交。
• 注释（Notes）：思维节点的评分结果作为提交的注释。
• 标签（Tags）：推理的最终结果或状态被标记为标签。
• 检索（Retrieval）：对智能体历史记录的查询等同于执行 git log 命令。

这种设计使得推理过程不再是一串易逝的文本，而是一个结构化的、可版本控制的数据集。其工程成本极低，但实现了推理过程的全生命周期管理。

2. 记忆子strate对准确性的实证研究

在提出框架后，研究团队提出了一个更深层的问题：无论采用何种存储介质，记忆是否真的能提高智能体的准确性？

为了回答这个问题，研究团队进行了严格的预注册复现（Pre-registered Replications），涵盖了以下变量：

• 五种记忆子strate（Substrates）：无记忆、Markdown、向量（Vector）、图（Graph）、Git。
• 两个基准测试（Benchmarks）。
• 两种模型规模。

3. 核心发现：记忆的有效性边界

研究结果出乎意料地揭示了记忆机制的局限性：

• 总体无效性：对于新颖问题（Novel Problems），没有任何一种记忆格式能可靠地提升准确性。一个早期看似有希望的结果在预注册复现中崩溃，证明了其不可靠性。
• 可复制性阈值（Copyability Threshold）：记忆仅在特定条件下有效。当检索到的案例与当前问题高度相似（相似度 >~ 0.8，即近重复案例）时，准确性会出现显著跃升。低于此阈值，记忆几乎没有任何增益。
• 收益本质：这种增益来源于答案检索（Answer Retrieval），而非方法迁移（Method Transfer）。即使使用大出 4.5 倍的模型，虽然能将近重复案例的收益翻倍，但它依然无法从已解决的案例中提取出可迁移的解题方法。
• 唯一通用杠杆：研究团队发现，唯一能普遍提升性能的手段是测试时采样（Test-time Sampling）。

4. Git 作为存储介质的价值定位

鉴于 Git 子strate在提升准确性方面并未表现出优于其他介质的优势，研究团队重新定义了其价值：Git 作为推理存储介质的核心价值不在于提高准确率，而在于提供审计性（Auditability）、溯源性（Provenance）和可合并性（Mergeability），且这些特性是在准确率持平（Accuracy Parity）的前提下实现的。

此外，研究团队公开记录了一个被撤回的结果和一个被证伪的假设，以展示其对评估标准的严谨态度。

关键要点

• 推理的“版本控制”缺失：当前 LLM 推理过程缺乏类似代码的版本控制机制，导致思维链不可追溯、不可审计。
• GitOfThoughts 机制：将推理树映射为 Git 仓库，思维节点为 Commit，评分为 Notes，结果为 Tags，实现推理历史的可回放和可合并。
• 记忆并不万能：在预注册复现中，五种记忆子strate（无、Markdown、向量、图、Git）对新颖问题的准确性均无可靠提升。
• 近重复才有效：记忆仅在检索案例与当前问题相似度极高（>0.8）时有效，本质是检索答案而非迁移方法。
• 模型规模无法突破方法迁移瓶颈：即使模型增大 4.5 倍，也无法从案例中提取可迁移的解题逻辑。
• Git 的核心价值是工程属性：Git 作为存储介质的优势在于审计、溯源和合并，而非直接提升推理准确率。
• 测试时采样是通用解：目前唯一被证实能普遍提升性能的手段是增加测试时的采样次数。

意义与影响

1. 对 AI 可解释性与审计的推动

GitOfThoughts 为 LLM 推理过程提供了一种标准化的工程化解决方案。通过将推理过程版本化，开发者可以像审查代码提交一样审查模型的决策路径，这对于金融、医疗等高风险领域的应用至关重要。它解决了“黑盒”推理难以审计的痛点。

2. 对“记忆增强”研究的纠偏

该研究通过严格的预注册复现，挑战了当前 AI 社区中盲目追求复杂记忆机制（如向量数据库、图神经网络）的潮流。它明确指出，在缺乏高相似度案例的情况下，复杂的记忆结构并不能带来准确率的提升。这促使研究者将注意力从“如何存储记忆”转向“如何提升检索相关性”或“优化采样策略”。

3. 重新定义智能体记忆的价值

研究区分了“答案检索”与“方法迁移”。这一发现表明，当前的 LLM 尚不具备从历史案例中抽象出通用方法论的能力。未来的研究重点应放在如何突破这一认知瓶颈，或者承认当前技术局限，转而利用记忆机制进行高效的案例匹配，而非期望其具备真正的归纳推理能力。

4. 工程实践的指导意义

对于 AI 应用开发者而言，该研究提供了务实的建议：如果目标是提高准确率，应优先优化测试时采样或提升检索相似度；如果目标是系统可维护性、合规性和团队协作，则应采用 GitOfThoughts 这类版本控制方案。Git 的价值在于其工程属性，而非其作为“智能”载体的属性。