KCSAT-ML：利用全国 cohort 人类难度信号探测推理模型

背景

当前，数学推理基准测试（Math reasoning benchmarks）的数量呈爆炸式增长。然而，大多数现有的基准测试缺乏基于实际人类表现的“单项难度信号”（per-item difficulty signal）。这意味着，虽然我们可以知道模型在某个测试集上的总体准确率，但我们很难确切地知道模型是在哪些具体问题上犯了错，以及这些问题对人类来说究竟有多难。

这种“难度黑盒”导致了一个评估盲区：两个准确率相同的模型，可能犯了完全不同类型的错误。一个模型可能只在人类看来极其困难的问题上出错，而另一个模型可能在人类看来很简单的问题上出错，但在难题上表现完美。传统的聚合准确率（Aggregate Accuracy）掩盖了这种差异，使得我们难以深入理解模型的推理弱点。

核心内容

为了解决上述问题，研究人员引入了 KCSAT-ML 基准测试以及 难度对齐推理增益（Difficulty-aligned Reasoning Gain, DRG）指标。

1. KCSAT-ML 数据集

KCSAT-ML 基于韩国大学修学能力测试（Korean College Scholastic Ability Test, 简称 KCSAT 或 Suneung）的数学试题。该数据集涵盖了 2014 年至 2025 年间的十年数据，包含 664 道数学题。

其核心亮点在于拥有 339 道题目的核心集，这些题目附带了来自全国数十万考生的官方“单项错误率”（per-item error rates）。这为每一道题目提供了一个基于大规模真实人类表现的难度标签，而非仅仅依赖人工标注或模拟数据。

2. DRG 指标：难度对齐推理增益

研究团队提出了 DRG 这一与分数正交（score-orthogonal）的评估指标。DRG 的核心逻辑是考察模型的错误分布是否与人类的错误分布一致：

• 如果模型在人类认为难的题目上出错，而在人类认为简单的题目上表现良好，则说明其错误模式与人类对齐。
• 如果模型在人类认为难的题目上得分高，却在人类认为简单的题目上出错，则说明其存在“对齐失败”。

3. 实验发现：VLMs 与 LLMs 的三种模式

通过对一系列视觉语言模型（VLMs）以及通过 OCR 技术接入的大语言模型（LLMs）进行测试，研究揭示了三个关键模式：

• 模式一：低预算准确率在“高人类错误尾部”崩溃 无论模型规模大小，在那些人类错误率极高的“困难题尾部”，低预算（即计算资源有限）模型的准确率都会急剧下降。这表明，对于真正困难的推理任务，仅靠增加模型参数而不增加推理时间（token 使用量）是无效的。

• 模式二：测试时扩展（Test-Time Scaling, TTS）的非单调收益 当使用测试时扩展（即增加推理时的计算量/token 使用量）时，token 的使用量随考生错误率大致线性增加。然而，准确率的提升却遵循一条非单调曲线。这意味着，增加计算量并不总是能线性提升性能，存在边际效应递减或过拟合特定模式的风险。

• 模式三：同一模型家族内的“反扩展”与“过度思考” 在同一个模型家族内部，TTS 表现出两极分化的现象：

  • 在最难的题目上，增加计算量可能导致反扩展（anti-scaling），即性能反而下降。
  • 在较简单的题目上，增加计算量可能导致过度思考（overthinking），即模型变得复杂化从而引入错误。 研究认为，这是同一类“对齐失败”的两种不同表现：模型未能正确校准其推理深度与题目难度之间的关系。

4. DRG 揭示的隐藏差异

DRG 指标能够区分出准确率相近但行为截然不同的模型：

• 模型 A：在人类认为难的题目上出错（符合人类直觉的错误模式）。
• 模型 B：解决了人类认为最难的题目，却在人类认为简单的题目上失败（违背人类直觉的错误模式）。 聚合准确率无法区分这两者，但 DRG 清晰地展示了模型 B 虽然“聪明”，但其推理过程可能存在严重的稳定性或对齐问题。

关键要点

• 数据真实性：KCSAT-ML 利用韩国高考（Suneung）数十万考生的真实错误率，为数学题提供了基于大规模人类表现的客观难度标签。
• 评估维度创新：引入 DRG 指标，不再仅关注“做对多少”，而是关注“做错的地方是否与人类一致”。
• 推理效率悖论：测试时扩展（TTS）并非万能。在难题上可能无效甚至有害（反扩展），在简单题上可能导致过度思考。
• 对齐失败的双重面孔：模型在难题上的失败和在简单题上的失败，可能源于同一类根本性的对齐缺陷，即模型未能正确理解题目难度与所需推理深度之间的关系。
• 准确率陷阱：两个准确率相同的模型，其内部错误分布可能完全相反，DRG 能揭示这种被聚合指标掩盖的差异。

意义与影响

KCSAT-ML 和 DRG 的提出，标志着大模型评估从“结果导向”向“过程与分布导向”的转变。

1. 更精细的模型诊断：研究人员和开发者可以利用 DRG 来诊断模型的具体弱点。如果一个模型 DRG 得分低，说明它可能在“简单题上犯错”或“难题上过度思考”，这比单纯的准确率更能指导模型优化方向（例如，是加强基础逻辑训练，还是优化推理路径剪枝）。
2. 理解推理成本的边界：研究揭示了测试时扩展（TTS）的非单调特性，提醒业界在部署推理模型时，不能盲目增加计算预算。对于不同难度的题目，最优的计算策略可能截然不同。
3. 基准测试的新标准：KCSAT-ML 证明了利用大规模真实人类表现数据构建基准的可行性与价值。这种基于“人类 cohort 难度”的评估方法，可以推广到其他领域（如科学推理、法律分析等），为评估 AI 是否真正“理解”问题提供了更可靠的标尺。
4. 开源贡献：研究团队承诺开源代码和数据集构建工具，这将促进社区开发更多基于真实人类难度信号的评估基准，推动 AI 安全与对齐研究的发展。

总之，KCSAT-ML 不仅是一个新的数学基准，更是一套新的评估哲学：它强调模型的行为应与人类的认知难度分布相一致，而不仅仅是追求数字上的准确率。