A Learning-Rate-Gated Failure of GRPO in a Small Language and Vision-Language Model Web Agent: A Controlled Null and Its Mechanism

背景

强化学习与可验证奖励（Reinforcement Learning with Verifiable Rewards）的结合，特别是 Group Relative Policy Optimization (GRPO)，已成为大语言模型后训练阶段的主流方法。人们通常在有监督微调检查点上运行 GRPO，期望它能进一步提升模型的技能水平。然而，当模型本身已经很强（例如在 Web 代理任务上接近饱和）时，GRPO 是否还能带来实质增益，或者它只是在重新排列已有行为？这篇来自 arXiv cs.AI 的论文（提交于 2026 年 7 月 14 日）针对一个小型语言与视觉语言模型 Web 代理（规模 4B 到 8B）系统性地回答了这个问题。

核心内容

论文通过一个控制网格实验（18 次运行），系统变化了学习率、KL 权重、随机种子、初始化和裁剪参数，发现没有任何一种配置能在代理已经基本掌握的任务上，显著提升一个强监督基线的成功率。具体结果如下：

1. 文本轨道：中等至高学习率会使性能显著下降（credible harm）。
2. Set-of-Marks 截图观测轨道：下降仅在名义上成立（nominal），即统计上不显著。
3. 在多种设置下零假设成立：配对检验、25 个评估种子、6 个训练种子、改变配方、文本与 Set-of-Marks 两种观测方式、以及将主干扩展到 8B。

为了证明零假设反映的是任务已饱和而非训练流程本身有问题，作者设计了对照实验：在那些可以通过采样（sampling）获得更高回报的任务上，使用完全相同的训练框架、奖励函数和配方，结果成功率高出了 22 个百分点，且配对置信区间不包含零。这说明 GRPO 只有在存在“提升空间”（即采样策略已比贪心策略成功更多）时才有帮助。

随后论文解释了失败机理：

• 中学习率会降低代理能力（degrade regime），高学习率则导致模型崩溃（collapse regime）。
• 两个区域形成双重分离（double dissociation）：
  • 通过移植（grafting）实验，降级区域可以被定位到注意力块和 MLP 块；
  • 崩溃区域无法归因到任何单一模块组，且嵌入层（embedding）的权重变化虽然占主导，但因果上却是惰性的（causally inert）。
• 在 4B 规模下，有效秩（effective rank） 在后几层与模型能力双向相关；在 8B 下，两者解耦。这种关联只在较小模型中出现，因此被报告为规模依赖（scale-dependent）。

关键要点

• GRPO 在饱和任务上无益：对已经很强（成功率接近上限）的监督基线，GRPO 无法进一步提升，甚至有害。
• 失效条件是学习率门控的：中学习率导致降级，高学习率导致崩溃，且两种机制机制不同。
• 双重分离揭示了可定位性与不可定位性：降级可定位到注意力与 MLP 块，崩溃则不可定位，嵌入层变化虽大但无用。
• 有效秩与能力的耦合仅在 4B 出现：在 8B 上两者分离，暗示规模越大，GRPO 的副作用模式可能越复杂。
• GRPO 只有在存在“爬升空间”时才有用：即采样策略已经优于贪心策略的任务上，GRPO 才能带来提升（+22 点）。
• 实验设计严谨：控制了 18 种配置，使用配对检验、多种子、两种观测方式、两种规模，确保了零假设的可信度。

意义与影响

1. 对 RL 后训练实践的直接警示：当模型已经很强时，盲目运行 GRPO 可能不仅没用，甚至有害。实践中需要先评估当前策略的“天花板”，确认存在可爬升的空间。
2. 揭示了学习率的关键角色：中高学习率都会带来灾难性后果，且机制不同。这提示未来 RL 训练需要更精细的学习率调度和模块级约束。
3. 有效秩作为代理指标的局限：在 4B 下有效秩能跟踪能力变化，但在 8B 下失效，说明依赖单一低秩指标来监控训练健康度需要谨慎。
4. 为小型模型的后训练提供理论依据：小型模型（≤4B）对 RL 的脆弱性可能源于其参数量限制下表示能力的非均匀退化，而大模型（8B）有更多冗余来吸收扰动。
5. 方法论贡献：论文提出的控制网格 + 配对检验 + 双重分离移植实验，为未来研究 RL 失效机理提供了可复用的实验范式。
6. 对 Web 代理领域的实际影响：4B-8B 规模的语言与视觉语言模型常用于轻量级自动化任务，此研究表明直接用 RL 微调前应优先探索更好的采样策略（如随机采样 + 评分），而不是直接跑 GRPO。