MentalThink：多模态大模型用SVG代码实现心理视觉推理
速览
MentalThink是一种视觉符号推理范式，核心是think-with-SVG流程，让多模态大模型学习生成、渲染和解释SVG代码作为中间视觉表示，用于多轮推理。通过创建结构化矢量草图，模型能外化空间假设、通过确定性渲染检查，并在受限几何空间中推理，模拟人类心理意象过程。两阶段训练框架结合监督微调和多轮强化学习，鼓励迭代检查和修正。在空间理解基准上取得55.1%和76.0%的领先成绩，证明可执行矢量图提供了可验证的视觉工作空间。
AI 深度解读
背景
多模态大语言模型在视觉理解与推理方面取得了显著进展，但现有方法往往依赖静态图像或文本描述，缺乏对人类心理意象（mental imagery）过程的动态模拟。人类在思考空间关系、物体布局或视角变换时，能够在脑中构建并操作可变的视觉表征。然而，对于MLLM而言，如何赋予其一种可执行的、可验证的“心理可视化”机制，仍是一个挑战。来自arXiv cs.AI的论文《MentalThink: Shaping Thoughts in Mental SVG World》提出了一种新的视觉-符号推理范式，旨在通过可缩放矢量图形（SVG）代码作为中间表征，让模型能够像人类一样进行迭代的心理图像构建与推理。
核心内容
MentalThink 是一种视觉-符号推理范式，它赋予多模态大语言模型一种可执行的“心理可视化”机制。该范式的核心是一个“think-with-SVG”流水线，模型学习生成、渲染并解释可缩放矢量图形（SVG）代码，将其作为多轮推理的中间视觉表征。通过创建结构化的矢量草图，模型能够外化空间假设，通过确定性渲染检查这些假设，并在受限的几何空间内进行推理，从而有效模拟人类心理意象的过程。
该范式通过一个两阶段训练框架实现：
- 监督微调（SFT）：用于对齐SVG语法，使模型学会生成文法正确的SVG代码。
- 多轮强化学习（RL）：鼓励模型迭代检查、修订和细化中间视觉假设，从而在推理过程中不断优化所生成的矢量图形。
广泛的评估表明，MentalThink在空间理解与推理基准测试中取得了优异性能：在VSIBench上达到55.1%，在MindCube上达到76.0%。这些结果证明，可执行矢量图形为动态视角转换、视觉反思和组合场景构建提供了一个可验证的视觉工作空间。
关键要点
- MentalThink 是一种新的视觉-符号推理范式，针对MLLM设计，使其能够进行“心理”可视化。
- 核心创新是“think-with-SVG”流水线：模型生成SVG代码作为中间表征，通过渲染进行可视化检查，并基于几何空间进行推理。
- 训练采用两阶段策略：先进行SFT以学习SVG语法，再通过多轮RL强化迭代改进能力。
- 模型在VSIBench（55.1%）和MindCube（76.0%）等空间推理基准上表现突出，验证了方法的有效性。
- 可执行矢量图形为动态视角变换、视觉反思和组合场景构建提供了可验证的工作空间，区别于传统静态图像或文本推理。
意义与影响
MentalThink 的提出填补了MLLM在心理意象模拟方面的空白，将视觉推理从“被动观察”提升至“主动构造与验证”。通过引入SVG这一符号化、可渲染的中间表示，模型不仅能够生成空间假设，还能通过确定性渲染进行自我校验，从而在推理过程中实现类似人类的“脑内演练”。该范式为空间智能、机器人导航、虚拟场景理解等需要动态视觉推理的应用提供了新的技术路径。此外，两阶段训练框架（SFT+RL）也为其他需要中间表征的可控生成任务（如图表推理、几何证明）提供了借鉴。未来，MentalThink 有望成为多模态模型在复杂空间任务中实现更强泛化能力的基础组件。