AReaL2.0 开源：让 Agent 越用越强
速览
AReaL2.0 是蚂蚁集团、清华大学及香港科技大学团队发起的开源强化学习基础设施项目，从2024年发起至2026年5月孵化为独立社区并加入 PyTorch Foundation Ecosystem。目前2.0版本已开源。 该版本通过统一推理入口记录 Agent 在真实业务场景中的交互过程及反馈，用于后续训练优化底层模型，实现 Agent 在安全可控前提下持续成长。 针对企业场景，AReaL2.0 引入面向 Agent 轨迹的数据代理机制，满足权限控制与数据脱敏要求，为 Agent 部署后继续学习提供工程基础，指向真实环境中不断反馈提升能力的演进范式。
AI 深度解读
背景
AReaL 项目由蚂蚁集团、清华大学和香港科技大学等团队于 2024 年发起，旨在解决 Agent 在真实业务场景中上线后难以持续成长的问题。2026 年 5 月，该项目从蚂蚁 InclusionAI 孵化成为独立开源社区，并正式加入 PyTorch Foundation Ecosystem 项目。目前，2.0 版本的技术报告和代码已开源，标志着该项目正式进入公开阶段。
核心内容
AReaL2.0 开源的强化学习（RL）基础设施，专为进入真实业务场景的 Agent 提供持续学习的系统支持。核心机制是通过统一推理入口，记录 Agent 完成真实任务时的交互过程及反馈，并将这些数据用于后续训练以优化底层模型。这一设计实现了 Agent 在安全可控的前提下持续成长，解决了 Agent 上线后难以从工作中进步的痛点。
具体而言，无需重新开发 Agent 即可接入在线强化学习流程。真实任务中的多轮对话、工具调用等成为直接的学习材料。通过这种方式，Agent 能够基于实际交互数据持续优化。
针对企业场景，AReaL2.0 引入面向 Agent 轨迹的数据代理机制，满足权限控制、数据脱敏等安全要求。该机制将 Agent 服务、真实任务轨迹、数据治理和在线强化学习训练连接起来，为 Agent 部署后继续学习提供工程基础。
整体上，AReaL2.0 指向 Agent 在真实环境中不断反馈提升能力的演进范式。项目由蚂蚁集团、清华大学和香港科技大学等团队于 2024 年发起，2026 年 5 月从蚂蚁 InclusionAI 孵化成为独立开源社区，并加入 PyTorch Foundation Ecosystem 项目，目前 2.0 技术报告和代码已开源。
关键要点
- 统一推理入口：统一 Agent 与真实任务的交互记录入口，捕捉多轮对话和工具调用过程。
- 在线 RL 训练：将真实任务交互数据直接用于后续模型训练，实现 Agent 基于工作反馈的持续优化。
- 数据代理机制：为企业提供权限控制和数据脱敏支持，连接 Agent 服务、轨迹数据、治理体系与在线训练。
- 安全可控演进：在企业环境中支持 Agent 部署后自动学习，无需人工重新开发。
- 开源社区与生态：项目从 InclusionAI 孵化为独立开源社区，并加入 PyTorch Foundation Ecosystem。
- 2.0 版本成果：技术报告和代码已公开，标志项目正式进入开源阶段。
意义与影响
AReaL2.0 填补了 Agent 从理论研究到实际业务部署的持续学习空白，为企业落地自演进智能体提供了可操作的工程基础设施。这一突破标志着 Agent 不再局限于静态部署，而是能够通过真实任务的持续反馈实现自我进化，加速了 AI 智能体在企业场景中的实用化进程。