测试时缩放改进小视觉语言模型多语言视觉多选题
速览
该研究探讨测试时缩放是否适用于小开源视觉语言模型，在EXAMS-V多语言视觉多选题基准上进行实验。比较了自一致性、描述再推理等方法，发现影响性能的最大因素是链的解析性而非搜索或验证机制。增大解码预算（每链token限制从1k到2k）带来3.7pp提升，而增加采样链数仅贡献0.15pp；复杂的搜索方法不如简单的多数投票。最终最佳配置在ImageCLEF 2026测试集上达到84.1%，位居Visual MCQ排行榜首位。
AI 深度解读
背景
测试时缩放（Test-Time Scaling, TTS）在大型语言模型的推理任务中已被证明能稳定提升性能，其核心思想是通过增加推理阶段的计算量（如生成更多候选链、进行搜索或投票）来提高准确性。然而，这一范式能否有效迁移至小规模的开放视觉语言模型（Vision-Language Models, VLMs），目前尚不明朗。视觉语言模型结合了图像与文本理解，在多语言视觉问答场景下，如何高效利用有限的模型容量进行推理，是一个具有挑战性的实际问题。本研究以EXAMS-V——一个多语言视觉多项选择题基准——为测试平台，系统比较了多种TTS方法在两款小型VLM（Qwen2.5-VL-7B-Instruct 与 Qwen3.5-4B）上的表现，试图厘清TTS在小模型上有效运作的关键条件。
核心内容
研究在EXAMS-V数据集上展开，这是一个覆盖多个语言和视觉概念的视觉多项选择题（Visual MCQ）基准。作者对比了三类TTS策略：
- Self-Consistency（自我一致性）：多次采样生成回答链，基于答案字母进行多数投票。
- Describe-then-Reason with PRM-guided Beam Search（先描述再推理，结合过程奖励模型引导的束搜索）：模型首先生成图像描述，再执行推理，同时使用过程奖励模型（Process Reward Model, PRM）对推理步骤进行评分，通过束搜索选取最优链。
- Post-hoc Selectors（事后选择器）：在生成多条链后，使用无训练的生成式评判器或训练过的多模态PRM从候选链中选出最终答案，而非直接投票。
使用的模型为 Qwen2.5-VL-7B-Instruct（约7B参数）和 Qwen3.5-4B（约4B参数）。实验揭示了以下决定性因素：
最关键的因素是解析性（Parseability）。最初使用的提示格式导致许多生成链虽然推理过程正确，但未能明确给出答案字母（即未以A/B/C/D的形式收束），使得后续的投票或选择机制无效。通过添加标准答案提示（如“Answer:”）以及一个引导式的修复步骤，这一问题基本得到解决。剩余的解析问题则通过增加解码预算消除：将每条链的最大token限制从1k提升至2k，可恢复3.7个百分点（pp）；而采样更多链（从8条增至16条）仅带来0.15 pp的增益。换言之，只要链有足够长的空间来完成推理，采样更多链带来的边际收益很小。
在链能够完整生成后，复杂的后处理方法收益甚微。PRM引导的束搜索相比朴素的自我一致性（多数投票）落后0.39 pp，且计算成本高出8倍以上。无论是无训练的生成式评判器，还是训练过的多模态PRM，在两种模型策略上均未能超越多数投票。因此，后验选择器并未带来额外优势。
最大的增益来自策略模型本身（即从Qwen3.5-4B升级到Qwen2.5-VL-7B-Instruct，提升11.4 pp）。这说明在TTS条件下，模型自身的能力仍是主导因素，而非搜索或验证机制。
最终，最佳配置（使用合适的提示格式、2k token限制、自我一致性多数投票，配合Qwen2.5-VL-7B-Instruct）在保留的ImageCLEF 2026测试集上达到84.1%的准确率，在该数据集的Visual MCQ排行榜上位列第一。
关键要点
- TTS在小VLM上的有效性主要取决于运行TTS时的“条件”（如提示格式、解码预算），而非搜索或验证机制的复杂程度。
- 解析性是最关键的问题：推理链必须可靠地输出答案字母，否则后续方法一概无效。一个标准的答案提示和引导式修复步骤基本解决了这一瓶颈。
- 解码预算中，每条链的token限制比采样链的数量更重要：从1k增至2k带来3.7 pp提升，而从8链增至16链仅提升0.15 pp。
- 一旦推理链有足够空间完成，PRM引导的束搜索并没有超越简单的自我一致性多数投票，反而以8倍以上的成本稍逊一筹（-0.39 pp）。
- 无训练的生成式评判器和训练过的多模态PRM作为事后选择器，在两种模型上均无法击败多数投票。
- 模型尺度本身的提升（7B vs 4B）提供了11.4 pp的增益，远超任何TTS方法带来的改进。
- 最佳配置（Qwen2.5-VL-7B-Instruct + 适当提示与2k token限制 + 自我一致性）在ImageCLEF 2026测试集上达到84.1%，位列排行榜第一。
意义与影响
本研究的结论对视觉语言模型的推理实践具有直接指导意义：对于小型开源VLM，部署TTS时无需投入复杂的搜索或奖励模型机制；优先确保模型推理链能够正确解析并输出答案字母，以及提供足够的解码长度，往往能带来更显著的收益。这表明，在小模型场景下，TTS的“瓶颈”更倾向于基础工程层面的预处理（如提示设计），而非高级算法创新。同时，模型自身能力的提升仍是改善推理效果的最强杠杆，这呼应了“scale the model rather than the inference”的朴素观点。对于多语言视觉问答这一特定任务，研究验证了自我一致性方法的鲁棒性，并提醒社区注意PRM等方法的泛化局限性。此外，该成果在ImageCLEF 2026排行榜上取得第一，证明了基于简单有效的TTS配置即可在竞争性基准上达到领先水平，降低了将TTS应用于实际部署的门槛。未来工作可进一步探索如何自动优化提示格式和解码预算，以及将TTS策略适配至更广泛的VLM架构。