LeRobot v0.6.0：想象、评估、改进

背景

LeRobot 是由 Hugging Face 主导的开源机器人学习框架，旨在为机器人策略（policies）的训练、评估和部署提供统一工具链。随着具身智能领域对世界模型（world models）、视觉-语言-动作模型（VLA）以及自动化评估的需求日益增长，社区面临两个关键挑战：一是如何让机器人策略不仅学会执行动作，还能“想象”未来状态以提升泛化能力；二是如何高效地构建、标注和评估大规模机器人数据集。LeRobot v0.6.0 正是在此背景下发布，它引入了一系列世界模型策略、更多 VLA 模型、统一的奖励模型 API、更快的基准测试工具以及更丰富的数据集支持，旨在降低机器人学习研究的门槛，加速从仿真到真实机器人的闭环迭代。

核心内容

LeRobot v0.6.0 的核心更新涵盖五个方面：世界模型策略、VLA 模型扩增、奖励模型 API、数据集增强以及训练与评估工具的统一。

世界模型：学会想象的策略
v0.6.0 带来了三种能够“想象未来”的策略：

• VLA-JEPA：基于 Qwen3-VL-2B 的紧凑 VLA，在训练时使用 JEPA 世界模型预测潜在空间中的未来帧，而在推理时世界模型完全消失，实现零额外推理成本的世界模型监督。提供了预训练检查点（包括基于 DROID 的基座），可通过 lerobot-train 直接微调。
• LingBot-VA：自回归视频-动作模型，逐块预测未来视频和动作，并利用真实观测反馈保持“想象”的接地性。推理可在单张 24-32 GB GPU 上运行，支持保存想象视频供对比分析。
• FastWAM：结合约 5B 参数的视频生成专家与紧凑动作专家的单网络模型，在训练时“做梦”生成 rollout，推理时直接对动作块去噪，无需耗时的想象过程。可从 lerobot/fastwam_base 微调。

VLA：模型动物园持续扩张
新集成的 VLA 模型包括：

• GR00T N1.7：NVIDIA 的最新跨具身基础模型，VLM 换为 Cosmos-Reason2-2B（基于 Qwen3-VL），搭配流匹配动作头。与 NVIDIA Isaac-GR00T 实现等价测试，闪存注意力变为可选（pip install 'lerobot[groot]' 即可工作）。
• MolmoAct2：艾伦人工智能研究所的视觉-语言-动作模型，已完整移植到 LeRobot（微调、评估、真机部署）。校准修正后的检查点可直接在 SO-100/101 机器人上零样本运行（推理约 12 GB 显存，LoRA 微调适合单张 24 GB GPU）。
• EO-1：基于 Qwen2.5-VL-3B 的 VLA，在交错的视觉-文本-动作数据上预训练，支持流匹配动作头。使用 --policy.type=eo1 即可通过标准训练流程微调。
• Multitask DiT：约 450M 参数的扩散 Transformer，以 CLIP 视觉和语言嵌入为条件，一个模型可处理通过自然语言选定的多种任务。支持扩散和流匹配两种目标。
• EVO1：仅 0.77B 参数的紧凑 VLA（InternVL3-1B 主干 + 流匹配动作头），支持两阶段微调和实时分块输出，适合中等 GPU 部署。

奖励模型：判断机器人是否成功
LeRobot 新增统一的奖励模型 API（lerobot.rewards），包含四个奖励模型：

• HIL-SERL 奖励分类器、SARM 以及两个新模型：
• Robometer：基于 Qwen3-VL-4B 的通用预训练奖励模型，无需任务特定训练，直接对任意 LeRobot 数据集的视频和语言指令打分（进度与成功概率），在超过 100 万条机器人轨迹上训练（RSS 2026 论文）。
• TOPReward：全零样本奖励模型，直接使用现成 VLM（Qwen3-VL）读取轨迹视频和指令后“True” token 的对数概率作为奖励函数。
  两者均附带标注脚本，可将逐帧进度曲线写入数据集，支持奖励感知行为克隆、数据集质量检查等。

数据集：更快加载、更丰富的数据

• 自定义视频编码：通过 --dataset.rgb_encoder.* 暴露完整编码参数（编码器、质量、像素格式、GOP、预设），vcodec=auto 自动探测硬件编码器（NVENC、VideoToolbox、VAAPI、QSV），回退到默认软件 AV1 编码器。提供 lerobot-edit-dataset 一键重新编码。
• 深度支持：Intel RealSense 深度相机从录制（毫米级、12-bit 深度视频流）到训练解码全程支持，实时渲染及可视化。
• 自动语言标注：数据集原生支持丰富的语言标注（时间戳子任务、计划、记忆、修正、语音、逐相机 VQA 对），新增 lerobot-annotate CLI 自动使用 VLM 观看 episode 并填充标注。
• 性能优化：数据加载速度提升多达 2 倍。

基准测试与训练

• 六个新仿真基准测试统一在 lerobot-eval 下。
• lerobot-rollout CLI 支持 DAgger 风格的人机协作纠正。
• 训练方面支持 FSDP（全分片数据并行）和 HF Jobs 云端训练。

代码库
安装更轻量，基础设施更清晰。

关键要点

• 世界模型策略首次在 LeRobot 中以可微调、可部署的形式集成，实现了“想象未来”的多种技术路径（潜在空间预测、自回归视频-动作联合预测、训练时梦想推理时跳过），且推理无额外成本或可显著降低计算开销。
• VLA 模型动物园扩大到 5 个以上新模型，覆盖从 0.77B（EVO1）到约 5B（FastWAM 的视频专家）的参数规模，部分模型（如 MolmoAct2、GR00T N1.7）已具备零样本或微调部署到真实机器人的能力。
• 奖励模型 API使机器人学习闭环中缺失的成功检测环节拥有了标准化接口和即用型工具：Robometer 提供通用零样本奖励，TOPReward 则无需任何奖励权重，直接利用现成 VLM 的语言概率。
• 数据集增强显著提升了实用性和灵活性：可自定义视频编码（含硬件加速）、端到端深度支持、自动语言标注管线（VLM 驱动），以及加载速度翻倍。
• 统一的基准测试与 rollout CLI：lerobot-eval 整合多仿真环境，lerobot-rollout 支持人工交互纠正，使从训练到评估再到策略改进的闭环更加流畅。
• 训练基础设施升级：FSDP 支持多卡训练，HF Jobs 云计算使大规模训练触手可及。

意义与影响

LeRobot v0.6.0 的发布标志着机器人学习框架向“闭环自动化”迈出一大步。世界模型的引入意味着策略不再仅仅依赖监督数据，而是可以主动“模拟”未来状态，这有望提升策略在未知环境下的泛化能力，并降低对海量真实数据的依赖。VLA 家族的大幅扩展，尤其是轻量级模型（EVO1、MolmoAct2）和跨具身模型（GR00T N1.7）的加入，使得不同硬件条件的研究者都能找到合适的起点，加速从仿真到真机的迁移。奖励模型的统一 API 填补了机器人学习 pipeline 中关键的“成功检测”空白——现在研究者可以轻松地为任何数据集添加奖励函数，进而支持更高级的算法（如奖励感知行为克隆、强化学习）。自动语言标注管线则解放了繁琐的手动标注工作，为大规模多模态数据集的构建提供了自动化手段。此外，编码灵活性、深度支持和更快的加载速度降低了