审讯的艺术：一致性如何增强空间推理的事实性

背景

当前的大推理模型（Large Reasoning Models, LRMs）在通用能力上表现出惊人的水平，但在处理空间推理任务时，其表现却显著落后。这一短板长期以来被业界视为一种“知识缺失”（knowledge deficit）。因此，现有的主流解决方案通常依赖于监督微调（Supervised Fine-Tuning, SFT），试图通过从外部视觉来源或合成引擎中摄取带有标签的空间数据来弥补这一缺陷。

然而，这种依赖大量标注数据的方法不仅成本高昂，而且往往忽略了模型内部已有的潜在能力。本文作者提出了一种截然不同的观点：对于许多空间推理任务而言，相关的能力其实已经存在于预训练的 LRMs 中，只是缺乏通过逻辑连贯性在二维（2D）和三维（3D）几何约束下的对齐。

核心内容

为了解决上述问题，本文提出了一种自监督强化学习（Self-supervised Reinforcement Learning, RL）框架。该框架的核心创新在于它不需要真实标签（ground-truth annotations）即可针对模型的内部推理过程进行优化。

一致性验证器与奖励函数

研究团队形式化了“一致性验证器”（consistency verifiers）的概念，将其定义为奖励函数。这些函数用于检查模型在经历特定变换后，其推理结果是否保持几何和语义上的一致性。具体而言，变换包括两类：

1. 图像变换：例如对输入图像进行翻转（flipping）。
2. 文本变换：例如交换问题中物体的顺序。

通过这种方式，模型被鼓励去寻找那些在多种视角或表述下都能保持逻辑自洽的推理路径，从而提升其空间推理能力。

OT-GRPO：基于最优传输的策略优化

为了实施这一策略，作者提出了一种新的基于最优传输（Optimal Transport, OT）的强化学习策略，命名为 OT-GRPO。这是组相对策略优化（Group Relative Policy Optimization, GRPO）的一个变体，专门针对成对验证器（pairwise verifiers）进行了最小匹配（minimal-matching）的定制。

OT-GRPO 的核心优势在于它能够有效地利用无标签的一致性信号来指导策略更新，而不需要依赖昂贵的真实标签监督。

实验结果

实验结果表明，这种无标签的一致性训练方法（label-free consistency training）在准确率上接近于使用真实标签监督训练的模型。更重要的是，它在不同的任务和不同数据域之间展现出了相似的泛化能力。这证明了通过逻辑一致性而非单纯的数据灌输，可以有效激发大模型在空间推理方面的潜力。

关键要点

• 范式转变：从依赖外部标注数据的“知识注入”转向利用模型内部逻辑一致性的“能力对齐”。
• 自监督机制：无需真实标签（ground-truth），通过自监督强化学习优化推理过程。
• 一致性验证：引入几何和语义一致性作为奖励信号，通过图像翻转和文本顺序交换等变换来验证推理的稳健性。
• 算法创新：提出 OT-GRPO，一种结合最优传输理论的 GRPO 变体，专门用于处理成对一致性验证。
• 性能表现：无标签训练方法的准确率接近监督学习方法，且具备良好的跨任务和数据域的泛化能力。

意义与影响

这项研究对大语言模型和视觉语言模型的发展具有重要意义。首先，它挑战了“空间推理能力缺失必须通过大量标注数据来修复”的传统假设，证明了预训练模型中已蕴含足够的空间理解潜力，只需正确的对齐机制即可释放。

其次，提出的自监督强化学习框架降低了对高质量标注数据的依赖，这对于解决长尾场景或难以获取标注数据的专业领域问题提供了新的思路。

最后，OT-GRPO 等基于最优传输的策略优化方法，为强化学习在复杂推理任务中的应用提供了新的技术路径，有助于提升 AI 系统在需要严格逻辑和几何约束场景下的可靠性和事实性。