EvoCUA-1.5：用在线强化学习训练多轮电脑代理
速览
EvoCUA-1.5将自进化计算机使用代理从离线经验学习扩展到在线强化学习，利用可执行沙箱环境改进策略。它通过Step-Level Policy Optimization、动态自适应课程学习等机制解决多轮交互中的长序列奖励稀疏、环境反馈慢等挑战。实验表明，这些组件显著提升了训练稳定性和下游性能，在OSWorld-Verified上达到63.2%的成功率，接近更大参数规模的模型。
AI 深度解读
背景
计算机使用代理（Computer-Use Agents）需要在部分可观测、多模态的桌面环境中通过反复交互完成长周期任务。传统方法依赖模仿学习（Imitation Learning）和离线轨迹优化来提供先验知识，但静态轨迹无法覆盖真实计算机使用的因果反馈循环：每个动作都会改变屏幕状态、未来的动作空间以及恢复选项。为了突破这一局限，研究者开始探索让代理从在线经验中自我进化。EvoCUA-1.5 正是这一方向的最新成果——它将自我进化计算机使用代理从离线经验学习扩展到在线强化学习（Online Reinforcement Learning），使策略能够与可执行的沙盒环境交互，并根据可验证的任务结果进行改进。
然而，在这一场景中直接套用单轮语言模型的在线强化学习方案并不奏效。多轮交互引入了上下文管理的观测、稀疏的终端奖励、可变长度的轨迹以及缓慢的环境反馈。EvoCUA-1.5 针对这些挑战提出了四项核心设计，并在基准测试上取得了显著提升。
核心内容
EvoCUA-1.5 的核心贡献在于一套解决多轮计算机使用代理在线强化学习（Online RL）难题的完整框架。其关键组件如下：
-
Step-Level Policy Optimization (STEPO)
在多轮交互中，代理必须处理长轨迹，而终端奖励往往只在任务成功或失败时给出，十分稀疏。STEPO 将轨迹级别的优势平衡分解为步骤级别的样本，使得每一步的动作都能获得有效的梯度信号，从而稳定策略优化。 -
Policy-Aware Filtering & Pass-Rate Calibration
在线 RL 需要大量可验证的合成任务。EvoCUA-1.5 采用策略感知过滤机制，只保留当前策略能够合理探索但尚未掌握的任务；同时通过通过率校准（Pass-Rate Calibration）来平衡任务难度分布，避免代理陷入过于简单或完全不可解的任务。 -
Dynamic Tri-Adaptive Curriculum (DTAC)
这是三级自适应的课程学习模块：- 可学习任务（Learnable Tasks）：动态筛选当前策略最有可能提升的任务。
- 困难正向回放（Difficult Positive Replay）：将历史上成功但难度较高的任务重新加入训练，强化策略在难题上的表现。
- 可控不可行任务暴露（Controlled Infeasible-Task Exposure）：有节制地引入当前策略可能失败但具有教学价值的任务，帮助代理学会识别边界。
三者协同，形成了弹性而高效的训练课程。
-
全异步 RL 基础设施
为应对环境反馈慢、轨迹长度不一的挑战，EvoCUA-1.5 设计了完全异步的强化学习流水线，包含陈旧性控制（Staleness Control）和小批量分组（Mini-Group Batching），确保训练吞吐和样本效率。
整体训练流程：代理在可执行的沙盒环境中反复执行任务，每次交互后收集轨迹。任务结果（成功/失败）作为稀疏奖励，经过 STEPO 转换为步骤级梯度，结合 DTAC 课程和策略感知过滤，更新策略参数。异步架构支持多环境并行，加速数据采集。
EvoCUA-1.5 在 OSWorld-Verified 基准上取得了 63.2% 的成功率，显著优于同参数量级（32B/35B）的开权基线模型，甚至逼近参数规模更大的模型。
关键要点
- 从离线到在线：EvoCUA-1.5 首次将自我进化计算机使用代理从离线经验学习扩展到在线强化学习，使策略能够直接从真实交互反馈中改进。
- STEPO 解决了稀疏奖励和长轨迹问题：通过将轨迹级优势分解为步骤级样本，实现了每步动作的稳定梯度更新，是多轮 RL 的关键创新。
- 策略感知过滤与通过率校准：确保合成任务的难度与当前策略能力匹配，避免无效训练。
- DTAC 三级自适应课程：同时考虑可学习性、难度回放和可控挫折，最大化训练效率和泛化能力。
- 异步基础设施：针对环境慢反馈设计，包含陈旧性控制和 mini-group batching，支撑大规模在线 RL 训练。
- SOTA 性能：在 OSWorld-Verified 上达到 63.2% 成功率，超越同规模开源模型，接近更大参数模型水平。
意义与影响
EvoCUA-1.5 提供了一套实用且可扩展的框架，用于在多轮计算机使用代理中部署在线强化学习。其意义主要体现在以下几个方面：
- 推动计算机使用代理进入自主在线学习阶段：以往模型依赖静态数据集的模仿学习或离线微调，无法动态适应环境变化。EvoCUA-1.5 证明了在线 RL 的可行性，为代理持续自我进化开辟了新路径。
- 方法论可迁移：STEPO、DTAC 及异步架构的设计思路不仅适用于桌面环境，也可推广到其他需要长周期、多轮交互的场景（如机器人操作、Web 自动化、游戏 AI）。
- 降低对超大模型参数的依赖：仅用 32B/35B 参数即能达到接近更大模型的效果，说明精心设计的训练策略比单纯扩大参数规模更经济、更可持续。
- 为安全可控的计算机使用代理奠定基础：在线 RL 通过沙盒环境与可验证奖励交互，天然具备可审计性，有助于未来在真实系统上安全部署。
总体而言，EvoCUA-1.5 是多轮计算机使用代理领域从离线到在线强化学习的重要一步，其组件化的方法论有望成为后续研究的基石。