批评经验库让LLM Agent步骤置信度自进化

背景

大型语言模型（LLM）智能体在外部环境中执行任务时，每一步动作都会改变状态，进而影响后续决策。一个错误的步骤不仅可能浪费交互预算，还可能在最终失败被观察到之前，就已触发不可逆的副作用。因此，在 LLM 智能体部署中，需要步级置信度估计：即在每个动作执行之前，给出一个校准过的概率，衡量该动作是否有助于完成任务。现有的 LLM 置信度估计方法主要针对给定提示词的响应进行评分，但在智能体场景中，置信度还需要考虑执行后果——即类似情境下的类似动作，在环境反馈后是否真正推动了任务进展。为此，该论文提出了一个自演进的批评框架，使 LLM 批评者能够从自身过去的判断及其观察到的后果中积累证据，实现步级置信度的动态估计。

核心内容

论文提出 Critic Experience Bank（CEB），一种无需训练、无需真实步级标签的自演进批评框架。其核心思路如下：

• 在每个轨迹完成后，一个拥有完整执行反馈的事后 LLM（hindsight LLM）会投票判断每个步骤是否富有成效（productive）。这些投票结果作为伪标签，被存入一个经验记忆库（memory bank）中。
• 当批评者再次遇到类似步骤时，会从记忆库中检索出相关的富有成效和无效经验，并将其作为上下文注入到当前批评者的提示词中。这一过程使得批评者能够借鉴过往的观察结果，从而做出更准确的步级置信度估计。
• 整个框架无需任何训练，也不依赖任何真实步级标签。

在三个不同的智能体基准测试和三个不同的批评者骨干模型（critic backbones）上，CEB 在所有数据集-批评者组合中均取得了最优的校准性能（ECE 和 Brier 分数）以及排序性能（AUC）。与最强的无训练基线相比，CEB 将 ECE 相对降低了最多 54%。

关键要点

• 步级置信度估计对于 LLM 智能体的可靠部署至关重要，尤其是在执行后果不可逆或交互预算有限的情况下。
• 现有置信度估计方法忽略了对执行后果的考虑，而 CEB 通过引入事后反馈的记忆库，使批评者能利用历史经验进行自我演进。
• CEB 框架包含两个关键组件：一个产生伪标签的 hindsight LLM（基于完整轨迹判断每步是否有效），以及一个存储和检索相关经验的记忆库。
• 在部署时，批评者通过检索相似步骤的过往经验，增强其置信度估计的上下文信息，从而提升校准性和排序能力。
• CEB 无需再训练，也无需人工标注，因此具有即插即用的特性，可适配不同 LLM 批评者骨干。
• 实验结果表明，CEB 在所有测试设置中均优于其他无训练方法，ECE 相对降低幅度最高达 54%，证明了其有效性。

意义与影响

• 推动 LLM 智能体可靠性：CEB 提供了一种在动作执行前即可评估其潜在成效的机制，有助于减少智能体在复杂环境中的错误决策，降低风险。
• 无需训练和标注：该方法完全基于 LLM 自身的推理能力和记忆检索，无需额外标注或模型微调，降低了部署成本，并可以快速应用到现有 LLM 智能体系统中。
• 自我演进的批评机制：通过不断积累和利用历史经验，批评者能够持续改进置信度估计，适应动态环境，这是传统静态置信度方法所不具备的。
• 广泛适用性：在多个基准和批评者骨干上的一致优势表明，CEB 是一种通用框架，可望成为 LLM 智能体安全部署的标准组件。
• 潜在扩展方向：未来可探索更有效的事后标签生成策略（如多视角投票）或更精细的记忆检索机制，以进一步提升性能；同时，该方法也可拓展到其他需要步级置信度的决策场景。