BrickAnything：基于结构感知分词的几何条件可构建积木生成框架

背景

在计算机图形学与人工智能交叉领域，从 3D 形状生成物理上可构建的积木（Brick）结构是一个极具挑战性的任务。这一任务的核心难点在于，输出结果不仅需要还原目标 3D 形状的几何外观，还必须满足离散部件（discrete parts）的约束以及结构稳定性要求。

现有的积木生成方法主要存在两类局限性：

1. 启发式优化方法：这类方法通常依赖预设规则进行优化。然而，当目标 3D 形状在预设约束下无法找到可行的结构方案时，这些方法往往会失效或产生次优解。
2. 序列生成方法：部分方法直接生成积木序列，但未显式建模底层的 3D 几何结构及其组装关系。这导致生成的结构可能在几何保真度或物理稳定性上表现不佳。

为了克服上述局限，研究人员提出了 BrickAnything，这是一个基于几何条件的自回归框架，旨在从多样化的 3D 表示中生成可构建的积木结构。

核心内容

BrickAnything 的核心创新在于其独特的架构设计，特别是引入了“结构感知分词”（Structure-Aware Tokenization）机制，以更好地模拟物理构建过程。

1. 统一几何接口与自回归预测

BrickAnything 使用点云（Point Clouds）作为统一的几何接口。这意味着无论输入是网格模型、体素还是其他 3D 格式，系统首先将其转化为点云表示。基于此几何信息，模型以自回归的方式预测积木序列，确保生成的积木组合能够重构目标形状，同时严格遵守组装约束。

2. 结构感知树分词（Structure-Aware Tree Tokenization）

这是该工作的关键技术贡献。为了建模积木之间的结构依赖性，作者提出了一种基于局部附着关系（local attachment relations）的树状分词方法。

• 传统方法的缺陷：传统的序列生成往往采用线性或简单的空间排序，忽略了积木之间真实的物理连接逻辑。
• BrickAnything 的优势：通过将积木结构表示为树状结构，序列生成过程更加符合实际的物理建造逻辑（即每一块积木都附着在已存在的结构上）。这种 formulation（公式化/表述方式）不仅使生成过程更具物理意义，还显著减少了无效中间状态的出现。

3. 提升可构建性的后训练与解码策略

为了进一步优化生成结果的质量，BrickAnything 引入了三项关键技术：

• 基于偏好的对齐后训练（Preference-based Alignment Post-training）：通过人类偏好数据对模型进行微调，使其生成的结构在稳定性和几何保真度上更符合预期。
• 有效性约束解码（Validity-Constrained Decoding）：在解码阶段强制约束生成的积木序列必须符合物理组装规则，避免生成无法搭建的结构。
• 自适应回滚（Adaptive Rollback）：当检测到当前生成的序列可能导致后续无法完成构建时，系统会自动回滚到之前的状态并重新生成，从而提高最终结构的成功率。

关键要点

• 几何与结构并重：BrickAnything 不仅关注几何形状的重建，更强调离散部件约束和结构稳定性，解决了现有方法中几何与物理脱节的问题。
• 树状分词机制：引入结构感知树分词，通过局部附着关系建模积木间的依赖，使序列生成更贴近物理建造过程，有效减少无效状态。
• 点云统一接口：使用点云作为通用的几何输入接口，增强了模型对不同 3D 表示形式的适应能力。
• 多重优化策略：结合偏好对齐后训练、有效性约束解码和自适应回滚技术，显著提升了生成结构的稳定性（stability）和几何保真度（geometric fidelity）。
• 实验验证： extensive experiments（大量实验）表明，与传统的排序策略相比，BrickAnything 提出的分词方法能有效减少回滚和重新生成的次数，生成几何忠实且物理上可实现的积木结构。

意义与影响

BrickAnything 的提出为 3D 内容生成与物理仿真领域提供了新的思路。其意义主要体现在以下几个方面：

1. 弥合虚拟与现实的差距：通过显式建模 3D 几何和组装关系，该方法生成的积木结构不仅能在数字世界中存在，更具备在物理世界中搭建的可行性。这对于数字孪生、虚拟建造模拟等领域具有重要价值。
2. 提升生成效率与质量：结构感知树分词和自适应回滚机制显著降低了生成过程中的无效尝试，提高了构建成功率。这意味着在实际应用中，用户可以更快地获得高质量、可搭建的 3D 模型。
3. 推动自回归模型在物理约束下的应用：BrickAnything 展示了如何将物理约束（如稳定性、离散部件）有效地融入自回归生成框架中。这一方法论可以扩展到其他需要满足复杂物理或逻辑约束的生成任务中，如机器人路径规划、模块化建筑设计等。
4. 促进 AI 辅助设计与制造：随着生成式 AI 在工业设计中的应用日益深入，能够直接生成可制造、可组装结构的模型将极大简化从概念设计到原型制作的过程。BrickAnything 为这一方向提供了强有力的技术支撑。

总之，BrickAnything 通过创新的结构感知分词和多层次优化策略，成功解决了从 3D 形状到可构建积木结构生成中的关键难题，为物理感知的 3D 内容生成树立了新的标杆。