讯飞发布具身通用多模态模型iFLYTEK-Embodied-Omni

背景

通用具身智能体需要理解多模态指令、预测环境如何演变，并在长时间跨度内生成精确的控制动作。现有方法通常专精于视觉-语言推理、基于视频的世界建模或动作生成中的某一环节，而先合成未来观测再推断动作的级联流水线会引入接口瓶颈并累积预测误差。为解决这一问题，研究者提出了统一的多模态基础模型，将视觉、语言和动作联合建模，以消除模块间的信息损失。

核心内容

iFLYTEK-Embodied-Omni 是一个统一的多模态基础模型，它在单个 Omni 框架内联合建模视觉（视频和图像）、语言和动作。其模态特定的视觉-语言组件、视频生成组件和动作生成组件通过共享的多模态自注意力机制进行通信。这种设计建立了“大脑-小脑”协作：视觉-语言模型（VLM）和视频生成模型（VGM）构成高层大脑，负责指令理解、任务规划、进度跟踪和未来视觉状态预测；而动作生成模型（AGM）则作为低层小脑，直接将规划的子目标和共享的多模态上下文转换为可执行的动作块（action chunks）。

为发展这些能力，研究团队从人类演示和机器人交互中收集了带有动作标注和无动作标注的具身视频，并结合具身推理、具身感知以及通用图像-文本数据，构建了一个综合数据集。此外，他们采用四阶段训练策略：先分别训练 VLM、VGM 和 AGM，最后对整个模型进行联合微调。

关键要点

• iFLYTEK-Embodied-Omni 是首个将视觉（视频/图像）、语言和动作统一在单一 Omni 框架下的具身多模态基础模型。
• 模型内部通过共享的多模态自注意力机制实现视觉-语言、视频生成和动作生成三个模块之间的通信，避免了级联管道中的接口瓶颈和误差累积。
• 架构采用“大脑-小脑”协作范式：VLM + VGM 作为高层大脑负责语义理解、规划和预测；AGM 作为低层小脑负责将高层指令转化为具体动作序列。
• 训练数据融合了人类演示和机器人交互的具身视频（含动作标签和无动作标签），并补充了具身推理、具身感知和通用图文数据。
• 训练策略分为四阶段：先分别预训练 VLM、VGM、AGM，最后对整个模型进行联合微调，确保各组件协同优化。

意义与影响

iFLYTEK-Embodied-Omni 提出了一种新的具身智能体架构范式，通过统一建模替代传统的级联流程，既降低了系统复杂度，又提升了长期任务中的预测精度与控制连贯性。其“大脑-小脑”分工设计为未来具身大模型提供了可参考的模块化思路——高层认知与低层控制分离但共享上下文，有助于实现更高效、更鲁棒的具身学习。此外，构建的综合数据集和四阶段训练策略也为后续研究在数据组织和训练流程上提供了实用经验。