RLinf v0.3发布：五大能力跃升，赋能具身智能

背景

具身智能行业正处在从“数据驱动”迈向“经验驱动”的关键转折点。机器人不再满足于静态模仿，而是需要在真实世界中持续学习、在线进化。然而，强化学习流程复杂、系统组件异构、资源形态多样，以及真实世界在线学习难以规模化等问题，成为制约具身智能落地的核心瓶颈。

为应对这些挑战，无问芯穹联合清华大学等共同研发了全球首个面向具身智能持续进化的大规模强化学习基础设施项目——RLinf。此前，RLinf v0.1 完成了强化学习系统抽象，v0.2 建设了真实世界在线学习基础设施。如今，RLinf v0.3 正式发布，旨在打通从仿真训练到真实机器人在线学习、再到持续迭代优化的完整闭环，为行业提供新一代“进化底座”。

核心内容

RLinf v0.3 定位为面向具身智能持续进化的一站式开发平台，首次完整打通数据采集、数据管理、监督微调（SFT）、强化学习（RL）、模型评测及真机部署等关键环节。围绕模型、算法、真机、仿真、系统五个维度进行全面升级，系统性地降低具身智能开发门槛，提升训练效率与部署灵活性，并覆盖更丰富的具身智能开源生态。

模型生态：新增6款主流具身模型

RLinf v0.3 继续扩展模型生态，新增6款具身模型支持，涵盖世界模型、VLA 模型及系统级加速：

• Dexbotic DM0：在 LIBERO 上用 PPO 进行在线 RL 微调。
• DreamZero：基于 WAN2.1/2.2 视频生成世界模型微调的 VLA 策略，集成进 SFT 工作流，通过 FSDP2/CUDA Graph 等系统级加速获得近4倍吞吐提升。
• GR00T-N1.6 / N1.7：支持 RL 微调。
• ABot-M0。
• StarVLA：支持 GRPO on LIBERO。
• LingBot-VLA：支持 RoboTwin 环境 SFT/RL。

算法体系：从模仿学习到真机学习全覆盖

新版在真机 RL、仿真 RL 和人在环学习三个方向均有重要算法新增，表现出 SOTA 的真机任务成功率：

真机强化学习算法：

• 将 DSRL（Diffusion Steering via Reinforcement Learning）扩展至 Pi0.5 模型。
• 新增 RECAP（基于离线优势估计的策略优化）训练流水线支持。
• 新增 SAC-Flow 算法支持，并扩展到 DOS-W1 等真机场景。

仿真强化学习算法：

• Async PPO：在 v0.2 基础上扩展支持 MLP 等新策略，新增 async DSRL 配置。
• 新增 D4RL 离线 IQL 训练支持（Antmaze / Kitchen-Adroit / MuJoCo，基于 FSDPStrategy）。

人在环学习：

• 新增 DAgger 在线模仿学习算法支持（LIBERO、ManiSkill、RoboTwin、真机 PnP 多场景）。
• 新增 HG-DAgger（Human-Gated DAgger）真机在线训练支持。

真机支持：打通从数据采集到真机部署全链路闭环

新版全面打通数据采集 → SFT → RL → 真机部署的闭环链路：

数据采集支持：

• 空间鼠标 (Spacemouse) 遥操作数据采集。
• VR 遥操作数据采集。
• GELLO 遥操作数据采集。

训练链路支持：

• 新增 LeRobot 格式数据采集，便于与 HuggingFace LeRobot 生态互通。
• 新增 Pi0 真机 SFT 部署支持，打通数据采集 → SFT → 真机部署链路。
• 新增真机 reward model 数据采集支持（采集带标注 reward 训练数据）。

真机平台与末端支持：

• 新增双臂 Franka 平台支持（关节空间与 TCP/rot6d 控制、数据采集、SFT、部署）。
• 新增 GimArm 真机平台支持。
• 新增 DOS-W1 真机平台支持。
• 新增 Franka DexHand 灵巧手末端执行器支持。
• 新增 Franka Robotiq 夹爪后端支持。
• 新增 Franka Robotiq 及 ZED / LUMOS V4L2 相机与夹爪后端支持。

仿真环境：场景覆盖更丰富

RLinf v0.3 提升仿真强化学习的场景覆盖，新增5种仿真器，并完善基于仿真器的训练示例与效果：

• 新增 Genesis 仿真器支持。
• 新增 Polaris 仿真器支持。
• 新增 RoboVerse 仿真器支持。
• 完善 Behavior 环境支持：新增 v3.7.1 / v3.7.2 版本补丁、π0.5 PPO 配置与 object/pose randomization。
• 新增 Libero+ / LiberoPro 变体环境支持。
• 新增 Embodichain（CartPole）环境支持。
• 新增 IsaacLab 上 π0.5 PPO finetuning 支持。
• 新增 RoboCasa close-drawer 等 RL 示例支持。

系统基座：面向大规模训练持续强化底层能力

RLinf v0.3 在系统层面新增多项重磅组件及性能优化：

新增组件：

• Reward Model组件：支持 embodied reward worker + ResNet/VLM reward model。
• Value Model组件：通用基础设施，支撑 Pi0.6 RECAP 等流水线。
• SGLang推理服务化组件：HTTP server + router 模式，可作为 reward 服务/rollout 推理后端。
• 解耦环境执行组件：解除 Env Worker 与 Rollout Worker 一对一绑定，提升 GPU 利用率。

性能优化：

• 新增 torch.compile 加速。
• rollout 与训练 overlap。
• 权重同步升级（broadcast/增量同步/分桶同步/仅同步可训练参数）。
• FSDP 全 offload 支持。
• 修复显存泄漏等关键问题。

跨平台支持：

• 全面支持昇腾 Ascend（CANN/torch-npu）、AMD ROCm、Musa 等国产及异构 AI 计算平台，实现跨机器人、跨模型、跨仿真器、跨计算硬件的统一训练能力。

One More Thing：RLinf for Agentic AI

RLinf v0.3 为智能体 RL 场景提供了更强大的训练和评测基础：

• 新增 AgentLightning 多轮单智能体 RL 训练与 Calc-X 评测支持。
• 新增 Megatron-Bridge actor 后端支持（基于 Megatron-mbridge 模型的 RL 训练与 SFT）。
• 将 SearchR1 重构为多轮接口，并新增 WideSeek judge 的内置 sglang 支持。

生态与认可

RLinf 自开源以来在 GitHub 已获得 4100+ Stars、600+ Forks、100+ Contributors，成为具身智能与大模型强化学习领域最受关注的基础设施项目之一。其被 Isaac Lab 官方收录为首个面向具身大模型的训练引擎，与 NVIDIA 团队合作的医疗器械组装任务成功登上 NVIDIA GTC 2026，并荣获 EAI-100 年度十大突破奖，入选 Pytorch Ecosystem、蚂蚁开源榜。未来，RLinf 将坚持开源路线，提升易用性，并已创建开发 Roadmap（https://github.com/RLinf/RLinf/issues/1322）和答疑群，欢迎社区参与。

关键要点

• 一站式闭环：RLinf v0.3 首次完整打通数据采集、SFT、RL、模型评测、真机部署全链路，实现从仿真到真实机器人在线学习的统一开发闭环。
• 模型生态扩展：新增6款具身模型（Dexbotic DM0、DreamZero、GR00T-N1.6/N1.7、ABot-M0、StarVLA、LingBot-VLA），覆盖世界模型、VLA 及系统级加速。
• 算法体系丰富：真机 RL 新增 DSRL on Pi0.5、RECAP、SAC-Flow；仿真 RL 新增 Async PPO 扩展、D4RL 离线 IQL；人在环学习