PivoARL：关键点感知自反馈重试提升智能体强化学习

背景

大语言模型（LLM）智能体在长周期交互式任务中已展现出强大的决策能力，但在利用失败轨迹方面依然存在明显瓶颈。传统做法有两种：一是完全重试——从头执行整个轨迹，虽然简单但交互成本极高；二是经验检索——从历史失败中抽取经验片段，然而这种做法容易稀释关键经验信号，导致模型难以从错误中高效学习。如何在不引入过多冗余交互的前提下，精准提取失败轨迹中的有用信息，成为LLM智能体强化学习的一个核心挑战。

核心内容

针对上述问题，研究者提出了一种名为 PivoARL 的自我反馈重试框架，旨在提升LLM智能体对失败经验的利用效率。PivoARL的核心思想是：通过结构化反思识别出失败轨迹中的关键错误环节（pivotal erroneous turn），然后仅从该关键状态（pivotal state）出发进行本地重试，从而复用轨迹中正确的前缀部分，大幅减少冗余交互。

从信息增益的角度，论文进一步论证：关键重试（pivotal retry）能够将有用经验信号集中在错误边界附近，从而缓解因状态无关的经验利用（state-agnostic experience utilization）导致的信号稀释问题。基于这一洞察，研究设计了一种关键感知的信用分配机制（pivotal-aware credit assignment），该机制对正确的前缀给予奖励，同时隔离错误的后续部分，并通过隐式反思回报（implicit reflection returns）优化反思质量。

论文在4个智能体任务和7个基于搜索的问答（QA）基准上进行了系统评估。结果表明：

• 在所有任务上，PivoARL在Pass@2/3指标上均获得显著提升，平均相比MetaRL提高约11.5%。
• 得益于关键轮次产生的对比偏好信号（contrastive preference signals），PivoARL在超过80%的任务上还持续改善了Pass@1指标。
• 在扫雷（Minesweeper）环境中，PivoARL相比GiGPO提升超过45%，并且与完全重试方法相比，平均减少交互轮次约42%。

代码已开源（文中提供的URL）。

关键要点

• 问题：LLM智能体在利用失败轨迹时面临两难——完全重试成本高，经验检索又会稀释关键信号。
• 方案：PivoARL——基于关键感知的自我反馈重试框架，通过结构化反思定位错误轮次，仅从关键状态开始本地重试，复用正确前缀。
• 信用分配：设计关键感知机制，奖励正确前缀、隔离错误后缀，并利用隐式反思回报优化反思质量。
• 核心优势：经验信号集中在错误边界附近，避免稀释；对比偏好信号还能改善初始策略（Pass@1）。
• 实验效果：在Pass@2/3上平均比MetaRL提升约11.5%；Pass@1在80%以上任务提升；扫雷中比GiGPO提升超45%，比全重试减少42%交互轮次。

意义与影响

该工作为LLM智能体失败经验利用提供了一种高效、精准的新范式。传统强化学习中的经验回放或轨迹重试往往缺乏对错误结构的显式建模，而PivoARL通过“关键轮次定位+局部重试”的方式，不仅降低了交互成本，还保留了经验信号的密度。这种思路可以推广到更广泛的智能体训练场景，尤其适合长轨迹、高成本的真实环境（如机器人操控、代码调试、任务规划等）。此外，关键感知的信用分配机制与对比偏好信号的结合，也为提升策略初始成功率（Pass@1）开辟了新途径。未来可进一步探索如何自动判别关键轮次的边界，以及将框架扩展到多智能体协作或在线学习场景。