多轮追问揭示视觉语言模型稳定性缺陷
速览
研究者提出Just Keep Prompting（JKP）多轮评估框架，利用三种追问策略（对抗否定、纯粹苏格拉底式质询、上下文感知苏格拉底摘要）对GPT-4o、Gemini 2.5 Pro和Qwen3-VL-30B进行720轮测试。结果显示，虽整体准确率变化不大，但具体问答轨迹极不稳定：正确回答退化、错误回答修复，且频繁翻转。不同模型表现差异显著：Qwen3-VL-30B最终准确率最高但易在直接矛盾下自信犯错，Gemini 2.5 Pro较稳定但token消耗高，GPT-4o最脆弱。该发现强调多轮评估不仅衡量推理能力，更揭示模型在重复挑战下的压力反应特征。
AI 深度解读
背景
随着视觉-语言模型（Vision-Language Models, VLMs）在真实场景中的部署日益广泛，除了需要具备强大的视觉推理能力外，模型在持续对话压力下的稳定性也成为一个关键挑战。现有评估基准多聚焦于单轮问答或静态推理，缺乏对模型在用户反复质疑、挑战或否定其回答时表现的系统性测试。用户在交互中可能会反复追问“你确定吗？”、“为什么？”或直接否定模型的答案，这种多轮对话压力可能导致模型在正确与错误答案之间来回摇摆，甚至变得自信地给出错误答案。因此，需要一种能够评估 VLM 在持续对话压力下认知稳定性的多轮评估框架。
核心内容
我们提出了 Just Keep Prompting（JKP），一个多轮评估框架，用于衡量 VLM 在用户反复挑战、质疑或否定模型回答时的认识稳定性（epistemic stability）。JKP 对模型进行最多 10 轮后续追问，使用三种策略：
- 对抗性否定（Adversarial Negation）：反复拒绝模型的答案（例如直接说“不对”或“你错了”），迫使模型面对否定性反馈。
- 纯苏格拉底式质询（Pure Socratic Interrogation）：反复要求模型重新评估其确定性（例如“你确定吗？”、“再仔细想想”），不提供具体否定信息。
- 上下文感知的苏格拉底式总结（Context-Aware Socratic Summarization）：在要求模型重新考虑之前，先复述模型之前的推理过程，然后基于此提出质疑。
我们在 STAR 基准的子集上（共 720 个多轮运行）评估了三个模型：GPT-4o、Gemini 2.5 Pro 和 Qwen3-VL-30B。主要发现如下：
- 总体准确率变化不大：从第 0 轮到第 10 轮，聚合准确率仅有适度变化。
- 轨迹级分析揭示显著不稳定性：正确回答会退化为错误，错误回答会恢复为正确，许多运行中出现反复的答案翻转（answer flipping）。
- 重复提示的收益有限：重复提问往往是一种不稳定的因素，而非推理的辅助手段。
- 模型依赖性极强：
- Qwen3-VL-30B 最终准确率最高，但在直接否定下会变得自信地给出错误答案（confidently wrong）。
- Gemini 2.5 Pro 相对稳定，但 token 消耗较高。
- GPT-4o 最为脆弱，表现出最强烈的振荡（brittle and oscillatory）。
这些发现表明，多轮 VLM 评估不仅捕捉到额外的推理能力，更重要的是揭示了模型的压力响应曲线（pressure-response profiles）：即模型在重复挑战下如何在视觉锚定、校准和对话服从性之间进行权衡。
关键要点
- JKP 是一个专门针对多轮对话中 VLM 认知稳定性的评估框架，包含三种不同的挑战策略。
- 在 720 个多轮运行中，模型在持续提问下表现出显著的答案不稳定性，包括正确→错误和错误→正确的翻转。
- 重复提示并不能有效提升推理质量，反而可能成为破坏稳定性的因素。
- 不同模型对压力的响应模式差异巨大：Qwen3-VL-30B 在直接否定下容易过度自信犯错，Gemini 2.5 Pro 稳定但成本高，GPT-4o 最易发生振荡。
- 多轮评估应关注“压力响应曲线”，而不仅仅是最终准确率，以全面理解模型在真实交互中的行为。
意义与影响
该研究揭示了一个被现有单轮评估所忽视的关键维度：VLM 在持续对话压力下的稳定性。JKP 框架为多轮对话系统的可靠性评估提供了新工具，尤其适用于需要模型保持逻辑一致性的应用场景，如教育、医疗咨询和智能助手。研究结果还提示，模型的设计不应只追求单轮准确率，还需考虑其在面对用户质疑时的鲁棒性。对抗性训练或校准策略可能需要针对多轮压力场景进行优化。此外，模型之间的显著差异也表明，在部署前需要对不同模型进行压力测试，以匹配实际使用中可能出现的用户行为模式。该工作为未来 VLM 的稳定性研究提供了方法论基础，并呼吁更全面的多轮评估标准。