4K参数撬动VLA泛化：空间才是真正瓶颈

背景

机器人在复杂真实场景中部署时，常常出现性能骤降：换一个相机视角、换一种光照条件，甚至只是传感器噪声稍有不同，原本表现良好的视觉-语言-动作模型（VLA）就可能完全失灵。过去的主流思路是扩大模型规模、增加训练数据、引入更逼真的视频生成作为预训练目标，以期让模型学到更通用的世界知识。然而，中山大学与 X-Era AI Lab 团队在 CVPR 2026 与 ACM MM 2026 的两篇论文中提出了一个截然不同的诊断：模型在新场景下的根本问题不是物理推理或动作控制的失效，而是空间表征的错位——机器人“看到的空间”与真实物理空间之间存在几何偏差，导致后续的动作模块无法正确解读。

核心内容

VLA 内部的可分离结构

论文将 VLA 拆分为两个功能独立的模块：

• 空间建模（Spatial Modeling）：由视觉编码器（如 ViT）承担，负责从输入图像中恢复物体的三维位置、朝向、遮挡关系、接触结构以及视角几何，输出稳定的空间表征（spatial representation）。
• 物理建模（Physical Modeling）：由大语言模型（VLM）与动作专家（action head）承担，结合任务语言指令、空间表征及历史动作序列，进行高层物理推理（如物体可操作性、接触约束、因果后果），并生成可执行的动作序列。

关键在于：当相机视角、光照、纹理或传感器噪声发生变化时，真正改变的是图像的空间配置（即物体在视觉空间中的相对位置和遮挡模式），而任务语义和物理规律并未改变。因此，性能下降的主因是空间表征与后端物理建模模块之间的接口发生了错位，而非整个 VLA 的物理推理能力丧失。

轻量空间校准：4K 参数撬动泛化

为验证上述假设，团队提出了两套极简的 one-shot 鲁棒适应方法，仅校准视觉空间表征，不改变模型其余部分：

1. Feature Token Modulation（FTM）
   在视觉编码器输出的 token 序列上引入两个全局可学习的向量，对每个 token 的特征做简单的仿射变换（重新缩放 + 重新居中），仅需约 4,000 个可学习参数。在 LIBERO 新视角任务上，FTM 将成功率从 48.5% 提升至 87.1%。

2. Feature Linear Adaptation（FLA）
   进一步在 ViT 各层的线性变换中加入低秩更新（Low-Rank Update），用约 4.7M 参数完成更深层的特征对齐，参数量仅为全量微调（467M）的约 1%。在 LIBERO 新视角测试中达到 90.8% 成功率，超越强基线 LoRA（90.3%）。

在扩展的 LIBERO-V 视觉扰动基准（包含相机、光照、纹理、噪声四类扰动）上，FLA 平均成功率达到 94.8%，FTM 以 0.004M 参数获得 90.5%——效果基本持平全量微调，但开销降低数个数量级。

这一实验强有力地表明：空间表征是 VLA 泛化链条中真正的瓶颈。校准这一层，比盲目标注更多数据或堆叠更大模型更为高效。

从分离到原生世界动作模型（VWA）

论文的更深层结论是：空间智能与物理智能可以被分析、校准、重组。

• 空间智能：对几何结构的建模能力（三维位置、视角、遮挡、布局）。
• 物理智能：对动作、接触、约束、因果后果的建模能力。

这种“可分离性”为**原生世界动作模型（Veridical World Action Model，VWA）**提供了理论基础。VWA 的核心主张是：既然最终目标是在真实物理世界中行动，那么预训练阶段就应直接学习世界状态、动作及其导致的时空演化（4D+x 物理预测：未来三维位置、运动趋势、接触状态、材质属性、可操作性、环境约束），而不是先学语言或视频再后接动作头。机器人动作应被看作从密集物理预测场中读出的本体轨迹。VWA 是对当前“预训练视觉语言模型/视频模型 → 后训练为动作模型”路线的根本修正。

关键要点

• 诊断正确比扩大规模更重要：VLA 在新场景下性能下降的主因是空间表征错位，而非物理推理能力不足。
• 极轻量的空间校准就能大幅提升泛化性：FTM 仅用 4K 参数将新视角成功率从 48.5% 提升到 87.1%；FLA 用 4.7M 参数（仅为全量微调的 1%）达到 90.8%。
• 空间与物理可分离：视觉编码器负责空间建模，VLM+动作头负责物理建模，两者可在训练和推理中分别处理。
• 基准验证：在 LIBERO-V 四项视觉扰动（相机、光照、纹理、噪声）下，FLA 平均成功率达 94.8%，FTM 以 0.004M 参数达 90.5%。
• 原生世界动作模型（VWA）的提出：预训练应直接学习真实世界的 4D+x 物理预测，而非语言或视频预测；动作被视为物理预测场的读出结果。
• CVPR 2026 Compute Transparency Champion Award：该研究因在计算资源、实验方法、可复现细节上的示范性报告获得了首届该奖项，呼应了“真实、透明、可复现”的研究伦理。

意义与影响

1. 重新定义具身智能的优化方向：以往的工作倾向于“堆数据、上大模型”，而本文指出盲目标注更多视角数据或扩大语言模型规模可能效率极低。直接校准空间表征的几何基础，用极小代价即可恢复泛化能力。这为资源有限的实验室和工业部署提供了可操作路径。

2. 分离空间与物理的模块化设计：将 VLA 拆解为独立的空间建模与物理建模模块，意味着未来可以分别优化：视觉编码器端可以引入几何先验（如深度、点云），物理端则可以专注于因果推理和动作生成，而不必耦合。这种模块化更有利于模型的可解释性、可调试性和跨任务迁移。

3. 原生世界动作模型（VWA）的范式变革：如果 VWA 成立，那么具身智能的预训练将彻底脱离“语言/视频→动作”的后训练路线，转而直接学习世界在动作下的演化规律。这可能会催生新的预训练任务（如 4D 物理预测）、新的评估基准以及对大规模物理数据采集的新需求。

4. 对研究社区的透明性呼吁：该论文获得 CVPR 计算透明度奖，强调“让机器人理解物理世界”与“让社区理解模型训练”同样重要。未来具身智能研究需要更严格的计算资源报告、实验细节公开和可复现流程，以避免虚假繁荣和不可复现的“SOTA”现象。

5. 空间智能成为新热点：本文将空间表征的地位提升至与语言、视频同等甚至更核心的位置。后续研究可能会更关注如何构建稳定、泛化的几何表征，例如结合 3D 视觉、神经辐射场（NeRF）或隐式几何模型来强化 VLA 的“空间感”。

6. 落地启示：对于实际机器人系统，当面临部署场景变化时，与其重训整个大模型，不如先用 FTM/FLA 类方法进行快速的空间表征适配——仅需极少量样本和参数，即可显著提升成功率。这大大降低了从仿真到真实的跨域迁移成本。