上交大团队3D自动标注AI登顶ICML Oral

背景

三维空间数据的获取与标注长期是制约空间智能发展的核心瓶颈。传统的3D数据生产依赖昂贵的硬件设备（如激光雷达、专业扫描仪）和繁重的人工标注——标注员必须在三维点云中手动调整每个物体的边界框，工序繁琐、易出错、成本极高。以ScanNet为代表的数据集耗时多年也仅能覆盖50个常见物体类别，难以应对开放世界的多样化需求。学术界尝试过直接用前向算法预测3D包围框，但缺乏几何约束导致结果常违背物理规律（如包围框悬浮或陷入地面）。与此同时，李飞飞在2025年11月发表长文强调空间智能是AI的下一个前沿，而Tesla前AI负责人Karpathy也曾指出自动标注是AI大规模扩展的必要条件。正是在这一背景下，上海交通大学团队提出了Holi-Spatial——一个纯软件、零人工标注的3D自动标注管线，用普通2D视频即可生成高精度3D空间数据。

核心内容

Holi-Spatial的核心是一条三阶段数据精炼管线，将2D视频转化为结构化的3D空间标注数据，整个过程无需任何硬件扫描或人工干预。

Stage 1：几何级优化（Geometric Optimization）
首先利用运动恢复结构（Structure-from-Motion）计算相机内外参，然后引入单目深度估计模型Depth-Anything-V3作为深度先验。但单目深度估计存在噪声和视角不一致问题，为此管线引入三维高斯泼溅（3D Gaussian Splatting, 3DGS）技术，对前向深度图与多视角渲染深度施加几何一致性约束，优化数百万个高斯点。这一步消除了边缘虚影和漂浮物，为后续投影提供精确的几何地基。

Stage 2：图像级感知与2D-to-3D升维（Image-level Perception & Lifting）
在清洗后的深度图上，管线均匀抽取视频关键帧，利用Gemini3-Pro等2D多模态模型生成帧级描述。为避免不同帧间同一物体的类别命名不一致，设计了动态类名记忆库（Dynamic Class-label Memory）强制命名统一。随后，使用SAM3生成高质量的2D实例分割面具，再基于第一阶段得到的几何深度，将每个2D像素“反投影”（Back-project）回3D空间，生成初始的三维定向包围框（OBB）。针对SAM3边缘锯齿问题，Holi-Spatial提出边缘腐蚀策略：投影前向内收缩面具若干像素，只保留最置信的核心区域，并结合多视角点云一致性滤网过滤离群点，将包围框误差压缩到亚像素级别。

Stage 3：场景级精炼与AI Agent“监考制”（Scene-level Refinement）
多视角投影出的3D包围框可能重叠或碎片化（如遮挡导致沙发被拆分为多个组件）。首先用3D交并比阈值（τmerge=0.2）将空间重叠度高的同类框合并。然后引入三级决策过滤器：置信度高于0.9的直接保留，低于0.8的直接丢弃，介于0.8~0.9之间的交由一个强大多模态大模型担任的AI Agent进行核查——Agent配备局部图像缩放和重新分割工具进行二次确认，大幅提升准确率与召回率。最后，确定的3D实体被送入Qwen3-VL-30B自动生成长文本描述，并基于模板批量合成空间问答对。

实验结果：在ScanNet++基准上，Holi-Spatial训练出的模型在3D目标检测任务中AP25达到81.06%（此前最先进的LLaVA-3D仅12.2%），AP50达到70.05%（此前4.80%），性能提升超5倍。在空间推理问答任务中，微调后的Qwen3-VL-8B准确率从29.4%提升至49.1%；在3D Grounding任务上AP50实现翻倍。

关键要点

• 纯软件管线：无需激光雷达等硬件，仅需普通2D视频输入即可自动生成3D标注数据，成本极低。
• 三阶段设计：几何优化（3DGS消除深度噪声）→ 2D感知与反投影（SAM3+边缘腐蚀）→ 场景级精炼（合并+AI Agent决策），层层递进。
• 零人工干预：整个流程无需任何人工标注，AI Agent仅用于处理模糊情况，而非人工。
• 性能断层式领先：在ScanNet++上3D检测AP50提升至70.05%，是此前最好方法的14.6倍；空间推理准确率提升20个百分点。
• 当前局限：仅适用于静态室内场景（静态乌托邦假设），无法处理动态物体（如行人、宠物）；每个视频需从头训练一次3DGS，算力开销大。
• 开放性：团队正致力于将管线扩展到室外大场景和动态4D环境，结合生成式模型与4D高斯技术。
• 团队背景：由上海交通大学人工智能学院副教授钟志航带领的年轻团队完成，论文入选ICML 2026 Oral。研发过程中大量使用“Vibe Coding”和AI Agent辅助工程细节。

意义与影响

Holi-Spatial从数据层面直接回应了空间智能发展的根本瓶颈——高质量3D标注数据的匮乏。它证明了AI不依赖昂贵硬件，仅凭普通2D视频就能自动生成大规模、高精度的3D空间标注，为多模态大模型培养真正的3D感知和空间推理能力提供了关键的原料。这项工作将3D几何重建（如3DGS）与语义理解工具（如SAM、多模态大模型）系统性地串联起来，形成了一个闭环的“数据飞轮”，使得AI可以自我生成训练数据——这正符合Karpathy所倡导的自动标注规模化路径。

从产业角度看，Holi-Spatial大幅降低了3D数据的获取门槛，使得中小团队甚至个人开发者也能获得高质量的3D标注数据，有望加速具身智能、家庭服务机器人、AR/VR等领域的研究落地。团队在接受专访时指出，若空间智能基座模型足够成熟，首先落地的场景将是机器人——例如帮助用户找到掉落在角落的钥匙，或未来实现“打开冰箱取可乐”这类物理交互任务。尽管当前版本仅适用于静态室内场景，但随着4D高斯和动态变形场技术的演进，该管线向动态、室外环境扩展只是时间问题。同时，隐私问题也引发关注：当自动3D重建门槛极低，个人私密空间可能被轻易数字化，这需要硬件厂商和监管层在端侧设立底线。

总体而言，Holi-Spatial是空间智能领域的一个里程碑式工作，它打通了从2D视频到3D语义数据的自动化 pipeline，为后续具身AI时代铺平了数据道路。