Benchmarks in Leipzig：莱比锡基准测试深度解读

背景

2026年4月1日至5月15日期间，由49位数学家组成的团队共同编制了一份包含已知答案的研究级数学问题数据集。这项工作的核心部分是在德国莱比锡的马克斯·普朗克科学人类发展研究所（Max Planck Institute for Mathematics in the Sciences）举办的为期三天的研讨会“Benchmarks in Leipzig”（莱比锡基准测试）上完成的，共有35名参与者。

该数据集旨在评估当前大型语言模型（LLMs）在解决高难度、研究级数学问题上的能力。随着AI在代码生成、自然语言处理等领域的突破，数学推理能力成为衡量AI智力水平的关键指标之一。此次测试不仅关注模型能否得出正确答案，更关注其在复杂逻辑链条中的表现。

核心内容

本次测试的核心成果是发布了包含100个精选数学问题的数据集，并对这些题目进行了三阶段的严格评估。

1. 数据集构成 最终发布的集合包含100个问题。这些问题由专业数学家精心挑选，确保其具备研究级别的专业性和难度，且拥有确定的标准答案，以便进行客观评估。

2. 三阶段评估流程 为了全面衡量不同模型的能力，测试分为三个阶段，逐步深入：

• 第一阶段（单轮尝试）： 选取了5个当时最先进的（state-of-the-art）LLM模型，每个模型对100道题目仅进行一次尝试（single attempt）。

  • 结果： 经过此阶段，仍有41道题目完全未被任何模型解出。这表明在零样本或少样本的初始尝试中，模型面对高难度数学题时仍有显著的盲区。

• 第二阶段（多轮评估）： 从第一阶段的模型中选出3个表现较好的模型，对它们进行更密集的测试，每个模型运行20次（20-runs-per-model），通过多次尝试来探索模型的概率分布和潜在能力。

  • 结果： 随着尝试次数的增加，未解出的题目数量显著下降，从41道减少至16道。这说明通过增加计算资源或尝试次数，模型能够解决更多原本无法一次性解决的问题。

• 第三阶段（重型思维模型测试）： 最后，引入两个“重型思维”（heavy-thinking）模型进行最后的冲刺，每个模型进行3次尝试。这类模型通常具有更大的参数量或专门优化的推理架构。

  • 结果： 测试结束时，仅剩2道题目未被解出。

关键要点

• 高难度数据集的发布： 发布了由49位数学家在莱比锡研讨会上共同编制的100道研究级数学问题数据集，填补了高质量、标准化数学推理基准的空白。
• 尝试次数与解题率正相关： 测试结果显示，随着对同一模型尝试次数的增加（从1次到20次再到3次），未解出题目的比例大幅降低。这揭示了当前LLM在数学推理上存在“概率性”特征，增加计算预算（Compute Budget）能显著提升解题成功率。
• 重型思维模型的优势： 专门针对推理优化的“heavy-thinking”模型在最终阶段表现优异，进一步压缩了未解出题目的数量，证明了专用架构在复杂逻辑任务中的价值。
• LLM数学能力的快速进化： 尽管仍有2道题未被攻克，但从第一阶段的41道未解出到最后的仅2道，这一巨大反差有力地证明了LLM的数学推理能力正在变得令人印象深刻，并迅速逼近人类专家水平。
• 协作式基准构建： 该基准测试并非由AI公司单独完成，而是由学术界（数学家）主导构建，确保了测试内容的专业性和有效性，体现了AI评估中“人类专家介入”的重要性。

意义与影响

1. 重新定义AI数学能力基准 传统的数学基准测试往往侧重于中学或大学初级水平的题目。而“Benchmarks in Leipzig”引入了研究级（research-level）的问题，为评估AI在前沿科学领域的潜力提供了新的标尺。它表明AI不再仅仅是解题工具，开始具备参与科学发现辅助工作的潜力。

2. 验证“思维链”与计算扩展的有效性 测试结果清晰地展示了通过增加尝试次数（即增加推理过程中的计算量）可以显著提升复杂任务的解决率。这为后续AI模型的开发提供了方向：在数学、逻辑推理等需要严密步骤的任务中，投入更多的推理计算资源（如增加思考步数、多路径搜索）是提升性能的有效途径。

3. 促进人机协作的新范式 尽管仍有2道题未被解出，但98%的解题率对于研究级数学问题而言是一个里程碑。这意味着AI可以承担大部分基础性的推导和验证工作，而人类数学家则可以专注于最核心、最创新的难题。这种“AI处理常规推理，人类处理核心洞察”的人机协作模式，有望加速数学及相关科学领域的研究进程。

4. 对模型开发的启示 对于模型开发者而言，这一结果强调了在训练和评估阶段引入高难度、多样化数学问题的重要性。同时，它也提示我们，单一模型的“单次尝试”表现可能低估其实际能力，未来的评估体系需要更加重视多轮推理和计算扩展带来的性能提升。