LLM评估提示工程悖论：简单提示优于复杂推理

背景

大型语言模型（LLM）的能力评估和稳健的多选题问答（MCQA）系统构建，是自然语言理解领域的核心挑战。随着LLM的快速普及，一个隐含假设逐渐形成：越复杂的提示技术（prompting techniques）能带来越好的性能。许多研究声称更复杂的提示方法表现更优，但缺乏全面的比较评估。本文作者试图填补这一空白，通过大规模实证研究揭示一个令人惊讶的“简单性悖论”：基础提示（baseline prompting）在多个基准测试上持续优于复杂的推理提示技术。

核心内容

本研究对8种提示技术、10个MCQA数据集、27个模型配置进行了系统评估，涉及约4,300个独特问题，总计超过430,000次评估。8种提示技术包括：基础提示（Zero-shot baseline）、CoT（Chain-of-Thought）、CoT-Expert（专家角色框架）、CoT-Inductive（归纳角色框架）、Self-Analogical（自我类比）、以及其他复杂推理方法。模型涵盖不同规模与架构，数据集来自多个领域的MCQA基准。

主要发现如下：

1. 基础提示的意外优势：在所有测试的提示技术中，基础提示（Zero-shot baseline）在多数基准上表现最佳。只有最小限度的专家角色框架（CoT-Expert）和归纳角色框架（CoT-Inductive）带来了统计上显著的约3个百分点（pp）的性能提升。其他所有复杂技术要么与基础提示持平，要么明显逊色——其中Self-Analogical技术比基础提示低多达31个百分点。

2. 三个关键现象：

   • Qwen3-30B-A3B-Thinking-2507模型在Elo评分中意外获胜，这一结果与模型规模或传统性能指标不完全相关。
   • 具有不同思考预算（thinking budgets）的模型变体之间存在明显的性能-效率权衡，最优配置因模型而异，并非简单遵循“更多思考预算=更好性能”的规律。
   • 数据集难度差异极大：60%的基准测试准确率低于70%，最易与最难的数据集之间准确率差距高达47.5个百分点，说明当前LLM在多样化基准上仍有大量改进空间。

3. 方法论启示：结果表明，LLM评估社区可能过度复杂化了提示工程。许多声称通过复杂提示获得提升的研究，实际上可能只是选择了对特定提示方法有利的基准，或者未进行足够全面的对比。更根本的进展应该来自模型本身的真实改进，而非提示技巧的优化。

关键要点

• 基础提示（Zero-shot baseline）在多数MCQA基准上优于复杂提示技术，打破了“越复杂越好”的普遍假设。
• 只有CoT-Expert和CoT-Inductive两种最小角色框架带来微弱但统计显著的提升（约3 pp），其余复杂技术（如Self-Analogical）表现更差，差距可达31 pp。
• Qwen3-30B-A3B-Thinking-2507在Elo排名中意外领先，提示模型架构与训练策略可能比单纯增加参数或思考时间更重要。
• 不同模型变体在性能与效率间存在复杂权衡，思考预算（thinking budgets）并非越高越好，最优值取决于具体模型。
• 基准测试难度分布不均：60%的基准准确率低于70%，且最易与最难基准相差47.5 pp，表明现有LLM在不少领域仍有显著不足。
• LLM评估领域可能存在“提示工程过度复杂化”的倾向，真正的进步应聚焦于模型能力提升，而非提示技巧的堆砌。

意义与影响

本研究对LLM评估社区具有重要的方法论警示意义。它挑战了近年来广泛流行的“复杂提示能解锁LLM潜能”的认知，提醒研究者注意评估中的虚假相关性：复杂提示可能在某些数据集上有效，但缺乏跨基准的通用性。从实践角度看，该结果建议开发者在设计LLM应用时，应从简单基础提示开始，而非一开始就投入资源构建复杂的提示链。同时，数据集难度差异巨大这一事实，为模型评估提供了重要参考：研究者应选择难度适中的基准来区分不同模型的能力，避免仅依赖少数容易饱和的数据集。最后，Qwen3-30B-A3B-Thinking-2507的意外表现表明，模型架构与训练策略的创新（如混合专家模型、高效思考机制）可能比单纯依赖提示工程更值得投入。总之，该论文呼吁社区将注意力从“如何更好地提示”转向“如何真正改进模型”，从而推动LLM更为实质性的进步。