AReaL 2.0开源：打造自演进智能体RL基础设施

让Agent越用越强：AReaL 2.0开源，打造面向自演进智能体的RL基础设施

背景

2024年，AReaL项目由蚂蚁集团、清华大学和香港科技大学等团队发起。2026年5月，AReaL正式从蚂蚁InclusionAI孵化成为独立开源社区，并加入PyTorch Foundation Ecosystem项目。2026年7月2日，开源强化学习基础设施项目AReaL正式发布2.0版本。

核心内容

AReaL 2.0是一套完整的在线强化学习（Online RL）基础设施，旨在打通基础模型训练与现代智能体应用之间的链路，为真实业务场景中的Agent提供高效的强化学习训练支撑。

Agent上线后，每天在企业系统中完成写代码、查资料、调用工具等复杂任务，但能力难以持续成长。AReaL 2.0正是为解决这一问题而设计：无需重新开发Agent，只需将Agent原本发给大模型的请求经过AReaL 2.0的统一推理入口，即可接入在线强化学习流程。

以Hermes Agent为例，Hermes依然正常接收任务、规划步骤并调用模型，而AReaL 2.0在后台记录Agent完成任务时的关键交互过程（包括多轮对话、工具调用、执行结果）。任务结束后，系统结合用户反馈或奖励信号，将这些真实轨迹用于后续训练。开发者可将自己的Agent和任务环境直接接入同样的流程。

AReaL 2.0通过数据代理机制，确保Agent接触到的真实数据（如代码库、客户信息、企业知识库）在进入训练流程时完成权限控制、数据脱敏、隔离和审计，从而实现安全可控的持续学习。

团队指出，Agent能力提升的真正瓶颈并非模型本身或算法先进性，而是缺少服务真实Agent的在线强化学习基础设施。AReaL 2.0正是将Agent服务、真实任务轨迹、数据治理和在线强化学习训练连接起来的架构升级。

AReaL 2.0技术报告和代码已开源。

关键要点

• AReaL 2.0是2024年由蚂蚁集团、清华大学、香港科技大学等发起的开源强化学习基础设施项目，已在PyTorch Foundation Ecosystem生态中独立发展
• 核心功能是面向已上线真实业务场景的Agent，提供在线强化学习（Online RL）支持，实现“用中学习、用后提升”
• Agent通过统一推理入口接入AReaL 2.0后，其多轮对话、工具调用、执行结果和反馈信号可被记录并转化为后续训练数据
• 系统内置数据代理机制，确保企业级真实任务数据在训练前完成权限控制、脱敏、隔离和审计
• 解决了从“会使用工具”到“能在使用中持续学习”之间的基础设施缺失问题
• 支持替换Hermes Agent或自定义Agent环境，直接搭建生产级在线强化学习流程
• 面向下一代智能体应用演进范式：Agent不再是一次性训练和部署，而是能在真实环境中通过成功与失败反馈持续进化
• 项目由PyTorch Foundation Ecosystem支持，未来将围绕在线强化学习、自动化评估和多模态智能体训练迭代

意义与影响

AReaL 2.0让Agent真正实现“越用越强”的闭环：在安全可控的前提下，将真实业务中产生的海量经验转化为持续能力提升，避免了人工构造数据、离线训练和重新部署的低效路径。

在企业场景中，这一基础设施尤为关键。企业Agent面对不断变化的代码库、业务流程、用户需求和工具系统，AReaL 2.0能够确保Agent长期适应环境，而非上线即基本固定。

从长远看，AReaL 2.0指向的是下一代智能体应用的演进范式：Agent成为真正的自演进智能体，而非一次性工具。这一升级不仅补齐了基础设施短板，也为华为云、MindLab等产业与开源生态伙伴提供了共建基础。

目前，AReaL 2.0已开源，其落地将加速自演进智能体生态的实际落地，成为Agent从“会用”到“会学、会进化”的关键基础设施支撑。