CAPruner：增强大语言模型 3D 空间推理的概念相邻场景图剪枝器

背景

随着大语言模型（LLMs）在计算机视觉领域的渗透，3D 视觉-语言（3D-VL）任务逐渐成为研究热点。这类任务的核心挑战在于空间推理，即模型需要根据给定的“锚点”（anchor）对象，在三维空间中准确识别出目标对象。例如，理解“位于红色杯子左侧的蓝色方块”这一指令，要求模型具备精确的空间关系理解能力。

为了处理复杂的 3D 场景，研究者通常采用**场景图（Scene Graphs）**来结构化地表示物体及其之间的关系。然而，完整的场景图往往包含海量的节点和边，直接将其输入给 LLM 进行推理会带来两个主要问题：

1. 高昂的 Token 成本：完整的场景图会导致输入序列过长，显著增加计算开销。
2. 计算效率低下：冗余的关系信息可能干扰模型的注意力机制，导致推理性能下降。

因此，对场景图进行剪枝（Pruning），即剔除无关或冗余的关系以保留关键信息，成为提升效率的关键步骤。现有的剪枝方法主要依赖空间邻近性（Spatial Proximity），即认为距离较近的对象关系更相关。但这种方法的缺陷在于，它往往会错误地移除那些在特定任务中至关重要、但空间上可能较远的关系，从而破坏了空间推理的可靠性。

核心内容

针对现有方法的局限性，研究团队提出了 CAPruner（Conceptual-Adjacent Scene Graph Pruner，概念相邻场景图剪枝器）。该方法的核心洞察是：场景图剪枝的关键要求并非仅仅保留空间上邻近的关系，而是必须保留与特定 3D-VL 任务最相关的空间关系。

1. 方法论：模糊语义相关性 + 空间邻近性

CAPruner 提出了一种新的关系重要性评估机制，它结合了以下两个维度：

• 模糊语义相关性（Fuzzy Semantic Relevance）：通过语义理解判断两个对象在概念上是否相关。
• 空间邻近性（Spatial Proximity）：保留物理距离上的邻近信息。

通过整合这两个维度，CAPruner 能够更准确地估计每条边（关系）的重要性，从而在特定任务的上下文中筛选出最关键的子图。这种方法避免了仅靠距离剪枝导致的“误杀”关键关系的问题。

2. 训练策略：节点级监督而非关系级标注

为了避免为每条关系进行昂贵的人工标注（Relation-level annotations），CAPruner 采用了一种高效的训练策略：

• 它不对单个边进行监督，而是对每个节点的所有入射边（Incident Edges）的聚合分数进行监督。
• 这意味着模型学习的是如何根据节点的整体上下文来评估其关联边的整体重要性，从而大幅降低了数据标注成本。

3. 实验验证

广泛的实验结果表明，CAPruner 能够有效保留对空间推理至关重要的关系。与现有方法相比，使用 CAPruner 剪枝后的场景图输入给 LLM，在多项 3D-VL 任务上实现了显著的性能提升。这不仅证明了剪枝策略的有效性，也验证了“任务相关性”优于“单纯空间邻近性”的设计思路。

关键要点

• 痛点识别：现有场景图剪枝方法过度依赖空间邻近性，导致关键但非邻近的任务相关关系被错误移除，损害了 3D 空间推理的准确性。
• 核心创新：提出 CAPruner，引入“概念相邻”概念，将模糊语义相关性与空间邻近性相结合，以评估关系在特定任务上下文中的重要性。
• 高效训练：采用节点级聚合分数的监督信号进行训练，避免了对细粒度关系级标注的高昂依赖。
• 性能提升：实验证实，CAPruner 在保留关键空间关系的同时，显著提升了 LLM 在 3D-VL 任务上的表现，同时降低了计算成本。
• 开源贡献：代码已公开，促进了该领域后续研究的发展。

意义与影响

CAPruner 的提出为 3D 视觉-语言理解领域提供了一个重要的优化方向。它揭示了在利用 LLM 处理复杂 3D 场景时，语义逻辑与空间几何信息的平衡至关重要。

1. 提升推理效率与准确性：通过智能剪枝，CAPruner 解决了长上下文带来的计算瓶颈，同时避免了因信息丢失导致的推理错误，为部署高效、准确的 3D 智能助手奠定了基础。
2. 降低数据依赖：其节点级监督训练策略为大规模场景图处理提供了低成本的标注解决方案，有助于缓解高质量 3D 标注数据稀缺的问题。
3. 方法论启示：该研究强调“任务相关性”应作为剪枝的核心指标，这一理念可推广至其他需要结构化推理的 AI 任务中，如知识图谱推理或多模态文档理解。

随着具身智能（Embodied AI）和机器人技术的发展，对 3D 空间推理的需求日益增长。CAPruner 这类轻量级、高精度的推理增强工具，将成为连接大语言模型强大语义能力与物理世界精确空间感知的重要桥梁。