Mistral发布最先进机器人导航模型Robostral Navigate

背景

机器人导航是具身智能的核心基础能力之一，传统方案通常依赖深度传感器、LiDAR（激光雷达）或多目相机来实现环境感知与路径规划。这些传感器成本高、功耗大，且在不同场景下的泛化性受限。近年来，视觉语言模型（VLM）的进展为仅用单一 RGB 相机完成复杂导航任务提供了可能，但在此前的公开基准测试中，单相机系统的性能始终落后于多传感器方案。

在此背景下，Mistral 推出了其首款面向具身导航的模型——Robostral Navigate。该模型以 8B 参数规模，仅凭一个普通 RGB 摄像头和自然语言指令，即可驱动机器人自主穿越复杂环境，并在标准评测 R2R-CE（连续环境下的房间到房间导航）上取得了当前最优结果，甚至超越了依赖深度或多目相机的竞品。

核心内容

Robostral Navigate 是一个 8B 参数的导航模型，输入为当前 RGB 图像和一段纯文本指令（如“离开大厅，穿过走廊，进入储物间，面朝第二个货架停下”），输出为机器人的下一步行动。模型完全不使用 LiDAR、深度传感器或多目相机，仅依赖单一 RGB 摄像头。

性能表现：

• 在 R2R-CE 验证集“seen”（训练集中见过的场景）上成功率达到 79.4%。
• 在“unseen”（训练中未出现的新场景）上成功率达到 76.6%。
• 这一成绩比最佳单相机方案高出 9.7 个百分点，比使用深度或多目相机的最佳系统高出 4.5 个百分点。

技术实现：

1. 导航机制——指向（pointing）：给定当前历史观测，模型直接推断目标位置在当前相机画面中的图像坐标，以及到达时机器人应朝向的角度。这种“指向”方式不依赖度量位移，对相机内参和世界尺度变化具有天然鲁棒性。当目标位于视野外时，模型自动回退到本地坐标系下的位移指令（如“前进 2 米，左移 1.5 米，左转 25 度”）。

2. 完全自研：模型并非基于现有开源 VLM 微调，而是从 Mistral 自有视觉语言模型（专精于指向、计数、物体定位等基础任务）初始化，导航能力作为这些定位能力的自然延伸而涌现。

3. 数据与训练：

   • 全在模拟环境中生成：约 40 万条轨迹，跨越 6000 个场景。
   • 采用基于 prefix-caching 的高效监督训练算法（树形注意力掩码策略），将整个 episode 压缩为单个序列，一次前向传播即可训练所有时间步。相比逐时间步采样，训练 token 数量减少 22 倍，将原需数月的训练缩短至数天。
   • 监督训练后，使用自研在线强化学习算法 CISPO（类似 LLM 后训练中的 RL）进一步提升性能，通过试错和失败恢复学习探索行为，成功率额外提升 3.2%。团队表示尚未观察到饱和现象。

4. 通用性：模型可运行在轮式、足式、飞行机器人上，对不同机器人尺寸和相机内参差异均有良好鲁棒性。

研究团队：Théo Cachet, Arjun Majumdar, Srijan Mishra, Thomas Chabal, Chris Bamford, Elliot Chane-Sane, Benjamin Tibi, Ludovic Ho Fuh, Olivier Duchenne 来自 Mistral AI Science Robotics 部门。

关键要点

• 模型规模：8B 参数，紧凑高效。
• 传感器需求：仅需一个普通 RGB 摄像头，无需 LiDAR、深度传感器或多目相机。
• 性能领先：在 R2R-CE unseen 上达到 76.6% 成功率，超越所有单相机方案（+9.7%），并超过多传感器方案（+4.5%）。
• 导航方式：基于“指向”预测图像坐标与朝向，视野外则回退至本地位移指令。
• 训练数据：全在模拟环境中生成，包含 40 万轨迹、6000 个场景。
• 训练效率：通过 prefix-caching 和树形注意力掩码，训练 token 减少 22 倍，将数月训练压缩至数天。
• 后训练优化：采用在线强化学习算法 CISPO，通过试错学习，成功率再提升 3.2%。
• 通用性：适配轮式、足式、飞行机器人，对不同尺寸和相机参数鲁棒。
• 完全自研：不依赖任何现有开源 VLM，从 Mistral 自有定位模型初始化。

意义与影响

Robostral Navigate 的发布在机器人导航领域具有多项突破性意义：

1. 低成本导航范式：证明了仅靠一个普通 RGB 摄像头即可实现与多传感器系统相当甚至更优的导航性能，大幅降低硬件成本与功耗，使消费级机器人、仓储物流、酒店服务等场景的自主导航更为经济可行。

2. 高效的训练方法论：通过 prefix-caching 和模拟数据的大规模生成，为机器人具身模型提供了一种可复用的高效训练范式，有望加速同类模型的迭代周期。

3. 通用性与鲁棒性：模型在未见场景、不同机器人形态和相机内参下的泛化能力，挑战了以往“特定平台+特定环境”紧耦合的设计思路，向通用机器人自主导航迈出了实质性一步。

4. 朝向统一具身智能：Mistral 将这一模型视为从感知到行动的桥梁，导航作为基础能力，未来可与其他操作、交互能力融合，形成统一的具身智能体。团队明确表示正在扩大机器人研究团队，目标是将无缝导航能力带给所有类型的机器人。

5. 行业竞争格局：作为欧洲头部 AI 公司，Mistral 在语言模型之外切入具身智能赛道，其开源友好的传统（尽管本次未明确开源）可能推动更多研究机构和企业探索单相机导航路线，加速产业落地。