银河通用新框架仅需人类视频即可部署机器人

背景

自深度学习驱动的大语言模型崛起以来，Test-Time Training（TTT）范式已在 NLP 领域展现出强大潜力：模型不必依赖预训练一锤定音，而是在推理阶段持续自我提升，例如 OpenAI 的 o1 和 DeepSeek 的 R1 系列都凭借这一思路实现了推理能力的显著跃升。然而，将 TTT 迁移至物理世界的机器人控制却面临三重天然阻碍：一是机器人的动作空间是高维连续的，而非离散 token，一次抓取的角度或力度稍有偏差便可能导致失败；二是物理世界的交互不可逆，错误的动作可能直接损坏物体；三是机器人决策必须实时响应，远高于文本推理的延迟容忍度。正因如此，具身智能领域此前始终未能实现在部署后像大模型一样“边干边学”。

银河通用（Galaxy General）今日发布的 WAM‑TTT 框架，首次将 TTT 从文本世界成功引入物理机器人控制，标志着具身智能正式进入“后训练”时代。

核心内容

WAM‑TTT（World-Action Model Test-Time Training）是全球首个面向具身智能大模型的测试时后训练框架。其核心思路是：机器人并非通过观看人类视频直接学习新技能（如模仿一个从未见过的抓取动作），而是借助视频充分理解当前任务场景，将场景信息写入临时记忆，再结合自身已具备的底层动作能力完成部署。整个过程无需重新预训练，无需大量机器人轨迹数据，也无需人工标注动作信息。

框架底层是一个预训练的世界动作模型（World Action Model, WAM），内部由视频专家和动作专家两部分组成，两者通过联合注意力机制通信。视频专家负责理解画面内容，动作专家负责生成对应动作。在 WAM‑TTT 中，WAM 的主体权重全程保持冻结，所有学习操作只在一个独立的小型参数存储单元——fast-weight memory（快速权重记忆）中完成。该记忆模块通过 Key-Value 向量对实现人类视觉线索与机器人行为的对齐。

整个流程分为两个阶段：

• Meta-Training（离线元训练）：相当于机器人的“出厂设置”，使用成对采集的人类演示数据和机器人遥操作数据，训练记忆模块如何将人类视频中的视觉线索映射为机器人能理解的指令。此时模型学会的是“如何读便签”，而非具体技能。
• Test-Time（线上测试时训练）：在用户侧，仅需提供一段未标注的人类 RGB 视频。WAM 主体完全锁死，只更新轻量化记忆模块的参数。更新完成后，模型将学习到的操作逻辑送入相机观测画面，随即输出机械动作完成任务。

实验数据验证了框架的高效性：当训练数据由 100 条机器人轨迹 + 100 条人类视频组成时，任务平均成功率达 74.1%，与全部使用机器人轨迹训练的效果基本相当，证明普通人视频几乎可以 1:1 替代昂贵的遥操作数据。此外，相比于增加人体姿态估计和动作重定向的对照管线（平均成功率仅 28.9%），WAM‑TTT 的直接端到端方式效果更优。

关键要点

• 数据成本骤降：部署阶段仅需未标注的人类 RGB 视频，无需昂贵的人工遥操作数据。例如特斯拉 Optimus 在加州工厂依靠百人采集团队每天轮班重复动作，而 WAM‑TTT 可将成本压缩至“手机拍摄级”。
• 无需动作标注：传统 Human-to-Robot 方法依赖手部姿态估计等额外标注，WAM‑TTT 采用自监督学习，完全跳过这一步骤。实验表明，增加姿态估计和动作重定向后，四个任务平均完成率从 72.3% 骤降至 28.9%。
• 不修改模型、不重新预训练：对比 WAM-COTRAIN（人类视频混入联合训练，成功率仅 29.8%）和 WAM-LoRA（部分任务成功率 0% 或 30%），WAM‑TTT 冻结基础模型、仅更新快速权重的策略在成本和性能上均占优。
• 消除灾难性遗忘：在跨环境评测中，将 WAM‑TTT 从标准训练场景移至未知真实家庭环境，性能保持率约 75.6%；而仅依赖上下文学习的 WAM‑ICL 则从 48.4% 暴跌至 7.1%（保持率仅 14.7%）。进一步实验改变光照和物体位置，WAM-ICL 完成率仅 12%–20%，WAM‑TTT 仍保持约 60%。
• 全球首个具身 TTT 框架：此前 Google RT 系列、Figure、PI 等玩家主要聚焦 VLA 架构或世界模型能力，均未能实现部署后持续学习。WAM‑TTT 首次打通了从预训练到部署后持续学习的技术闭环。

意义与影响

对银河通用而言，WAM‑TTT 是其核心产品“银河星脑（AstraBrain）”持续学习体系中的关键一环。团队此前在 2025 年于 ICCV 首次发布融合世界模型与 VLA 的 WAM，2026 年进一步推出 AstraBrain WAM 系列及 LDA-1B 模型，实现了异构数据（互联网数据、人类视频、遥操作数据）的统一利用。如今 WAM‑TTT 补上了“后训练”这块拼图，使预训练赋予的通用能力与部署后的场景适应能力形成完整闭环。

从行业视角看，WAM‑TTT 直接回应了具身智能规模化落地的核心痛点——部署成本。当前客户每更换一个部署点位，都需要重新采集数据、重新适配模型，导致流程昂贵且缓慢。WAM‑TTT 将成本压缩至“手机拍摄一段视频”的水平，恰逢工信部与国务院国资委联合印发的《2026 年度人形机器人与具身智能实景实训专项行动》要求人形机器人在代表场景中实现规模化应用验证，该框架成为降本增效的基础设施级突破。

更重要的是，WAM‑TTT 体现了一种与 Scaling Law 互补的产业趋势：模型能力不仅来自更大的参数和更多数据，更来自推理阶段的持续学习。正如 o1 等推理模型重塑了 NLP 的扩展范式，WAM‑TTT 将同一思想复制到物理世界，使机器人真正能够在真实环境中积累经验、动态成长。这不仅为银河通用自身的商业化路径提供了技术底座，也为整个具身智能行业跨越“泛化性衰减”这最后一道障碍，打开了一扇现实之窗。