Spatial Reasoning via Modality Switching Between Language and Symbolic Representation

背景

当前，Large Language Model (LLM) 在自然语言处理领域取得了巨大成功，但在处理复杂的空间推理任务时仍面临瓶颈。传统的 LLM 推理往往局限于纯文本模态，当面对需要多跳逻辑和空间关系推演的问题时，仅靠文字推导极易产生错误。

人类在解决复杂空间问题时，本能地会采用多模态的思维方式：我们很少仅凭在脑海中默念文字来推导，而是倾向于将思维“外化”——通过画草图、绘制网格等方式，将抽象的空间关系具象化，从而更直观地理解底层概念结构并规避逻辑错误。受此启发，如何让 LLM 也具备这种在推理过程中灵活切换模态的能力，成为了突破现有推理瓶颈的重要研究方向。

核心内容

这篇论文受人类多模态推理特性的启发，探讨了在空间推理任务中，LLM 如何在自然语言与结构化符号表示之间进行切换，以提升推理表现。

研究首先立足于一个核心观察：人类推理本质上是多模态的。当问题变得困难时，我们不会仅用语言思考，而是通过绘制图表或网格来外化推理过程，从而把握底层概念结构并避免犯错。基于此，论文提出了两个核心研究问题：

1. 将多跳文本空间故事落地到几何感知模态（如布局或网格），是否比基于自然语言的推理更具优势？
2. 模型能否自主判断何时依赖自然语言推理，何时切换到结构化模态？

为了解决上述问题，论文引入了一种基于“可信度”和“复杂度”信号的切换指标。该指标旨在预估：将一个空间故事落地到结构化表示中，是否有可能提升推理性能。这一机制为 LLM 推理中的原则性模态选择迈出了第一步。

实验验证了模态切换的有效性。研究结果表明，当从基于自然语言的推理切换到基于网格的表示时，LLM 的性能提升最高可达 42%。这一显著的提升证明了模态的选择对推理结果具有至关重要的影响，打破纯文本推理的局限，适时切换到结构化的几何感知模态，是提升空间推理能力的有效途径。

关键要点

• 人类推理的启示：人类在面对复杂空间难题时，会通过画图、建网格等方式外化推理，这比单纯的语言思考更准确、更不易出错。
• 模态切换的优势：将多跳空间故事从纯文本转换为几何感知模态（如网格），能够显著改善 LLM 的推理效果。
• 动态切换机制：论文提出了基于“可信度”和“复杂度”信号的切换指标，使模型能够自主评估何时从自然语言推理切换到结构化模态，而非盲目使用单一模态。
• 显著的性能提升：从自然语言推理切换到网格表示，LLM 在相关设定下的性能提升最高达 42%。
• 原则性模态选择：该研究是迈向 LLM 推理中“原则性模态选择”的第一步，强调根据任务需求动态选择最合适的推理媒介。

意义与影响

这项