Giving a domain a hill to climb: benchmarking as data activation
AI 深度解读
背景
长期以来，大语言模型（LLM）的进步高度依赖于可验证的“爬坡”（verifiable hill to climb）——一个清晰的、可优化的度量标准，让模型能够不断自我改进。代码、数学和具有明确目标的优化问题之所以成为模型进步最快的领域，正是因为它们天然具备这种可度量的“山峰”。然而，大多数复杂领域（如医学、生物学）并不具备这样的条件：其数据基底（substrate）是混乱的、纵向的、且不完全处于模型的输入空间内（不像代码那样结构化）。因此，在强化学习（RL）范式成熟之前，一个根本性的问题是：我们能否为这些领域“造出一座山”？ 本文提出的核心观点是：benchmarking（基准测试）本身就是一种新的数据激活（data activation）形式——将领域数据转化为一种表面（surface），让模型可以被衡量、排名，并最终被训练。
核心内容
1. 基准测试作为数据激活
作者在较早的文章中探讨了“数据激活”（data activation）的概念，即把数据转化为能够监督模型权重的信号。而本文进一步指出，benchmarking 是一种更清洁的数据激活示例：仅仅能够“测量”就已经是一种基础的数据激活。以健康数据为例：将已有的结构化记录、工作流程和信息转化为可对模型进行评分的东西（比如评估系统实际知道什么、在哪里失败），即便模型内部没有任何改变，数据也已经通过成为“测量表面”而被激活了。当前，在健康领域甚至连这第一步都做不好——我们无法很好地回答“这些模型知道什么”，而能够回答这个问题本身就很有价值。老话依然成立：“你无法改进你无法衡量的东西。”（You can’t improve what you can’t measure.）
2. 验证器（Verifiers）与强化学习的耦合
当基准测试同时也是可以运行强化学习的环境时，评分就不再只是事后的报告，而是变成了奖励函数（reward）。测量模型和改进模型不再是两个顺序分离的行为，它们共享同一个基底。这种耦合既是力量，也是危险：基准测试越好，训练信号越有用；基准测试越差，你就越忠实地优化了错误的目标。
3. 与“苦涩教训”（Bitter Lesson）的关系
作者认为，这种思路并不与苦涩教训相矛盾，而是与之正交。苦涩教训说：一旦规模可用，通用方法就会获胜。但底层还有一个更先决的问题：这个领域是否已经形成为规模提供“去处”的状态？ 代码和数学是，而医学大多数情况下不是。因此，部分工作是将混乱的领域材料转化为具有可检查结果的任务，而benchmarking正是实现这种转化的一种方式。换言之：“有时领域已经处于规模可以吃掉它的形状，有时工作在于把领域变成规模能够产生牵引力的形状。”
4. 构建评分表面的不同方法
根据“真实答案（ground truth）位于何处”、“构建成本”、“与真实目标的距离”，作者梳理了三种主要路径：
-
latchbio 方法：从原始数据本身重建真实答案。以 SpatialBench-Long 为例，模型获得原始或接近原始的数据加上足够的校准上下文（近似科学家的初始知识），然后对结论和路径同时评分。其特别之处在于：原始论文中的声明被当作候选答案，在成为答案之前会对照数据重新检查。这种方法昂贵，但最接近真实情况（如何在医学中做到这一点并规模化，仍是开放问题）。
-
HealthBench 方法：由医生编写评价标准（rubrics），对模型回答进行评分。工作单元是临床答案质量：模型是否抓住了相关问题、是否安全传达、避免伤害、避免过度推断。这是真实的临床劳动，比从原始数据重建声明更容易规模化。但对于前沿模型，信号容易偏向风格，且很快饱和。
-
MedMarks 方法：多数使用多项选择题，包装成验证器环境以便直接训练。最可复用、最易生成，但距离实际临床工作最远，也最容易被污染。
-
QuestBench 方法：其概念值得借鉴。它提出两个问题：模型能否注意到缺失信息，以及获得该信息后能否使用它。第二个是普通推理问答，第一个则是作者关心的——许多真实任务在答案开始之前就已经失败，系统根本不知道它需要知道什么。这与医学问答直接对应：可见的病例摘要隐藏了上游的临床工作（注意到哪个事实是关键）。作者思考是否应该把部分医学问答塑造成约束满足问题：哪个缺失的事实能区分鉴别诊断、排除当前行动、或改变管理？绝大多数现有基准测试并不测试这一部分。
5. 数据工作的难度与策展（Curation）
所有这些都不意味着底层数据工作变容易了。“压裂”（fracking）复杂数据的价值比以往任何时候都更容易，但仍然困难。最令人印象深刻的工作（如 latchbio 风格）也是最昂贵的：专家小组手动拆解复杂过程。这个“成本”就是一个线索——问题在于策展。作者之前提出过“策展贯穿始终”（curation all the way down）的问题：基准测试声称测量临床推理，但专家判断已经在上游完成了大量推理，任务在任务出现之前就已经发生了。但当基准测试本身成为激活层时，这种张力看起来不同：策展仍然在做工，但工作变得明确——决定哪些原始工件算数、哪些声明能通过重新检查、模型可以看什么、什么被奖励、什么被排除。latchbio 的特别之处——选择那些能从原始数据复现并确定性评分的声明——就是专家判断变成了奖励函数。这并未完全消除张力，但将其转移到了一个更可检查的位置。
6. 坦诚的提醒
作者承认框架可能会过度兜售：从原始数据复现已知结论是一个真实的进步（可能比预想的更有意义），但它并不是“通用的科学/医学心智”，也不是凭空白提出正确问题的部分（这也是 QuestBench 第一个问题之所以重要的原因：注意到缺失更接近真正的技能）。
关键要点
- 基准测试是一种数据激活形式：将领域数据转化为可衡量模型表现、进行排名和训练的表面（surface），而不仅仅是事后评估。
- 可验证的“山丘”是模型快速进步的引擎：代码、数学等领域的成功得益于存在清晰、可优化的度量标准；医学等领域缺乏这种“山丘”。
- “能测量”本身就是价值：即使模型未更新，能够回答“模型知道什么”也已然从数据中提取了价值。
- 验证器与RL的耦合既是力量也是风险：当基准测试成为奖励函数时，测量与改进合二为一，但劣质基准会加剧优化错误。
- 领域需被重塑为“规模有处可去”的状态：先决定领域是否可被“规模吃掉”，否则需要先通过 benchmark 等方式转化。
- 构建评分表面的三类方法：latchbio（从原始数据重建，最贵最真实）、HealthBench（医生评答案，可扩展但易饱和）、MedMarks（多项选择，易生成但远离真实）。
- QuestBench 的概念值得借鉴：关注模型能否“意识到缺失信息”，这与医学上游临床推理直接相关。
- 策展是核心成本：最优秀的工作依赖专家手动拆分复杂过程，成本暴露了问题的本质。
- 张力并未消失，但被移动到更可检查的位置：专家判断变成了奖励函数，决策更加具体和可审查。
- 复现已知结论并非通用智能：当前方法尚不能解决“从零提出正确问题”这一更困难的挑战。
意义与影响
本文系统性地将 benchmarking 从纯粹的评估工具提升为一种数据激活的基础设施——不仅是测量手段，更是塑造模型学习方向的主动层。这对于医疗等复杂领域尤为重要：它指明了在没有天然可验证目标的环境中，如何通过人为构造“山丘”来启动模型的改进循环。具体影响包括：
- 重新定义数据价值：数据不再只是训练原料，其激活价值体现在能否被转化为可评分的表面。这鼓励领域从业者花精力设计高质量的基准，而非盲目收集数据。
- 指导资源分配：不同构建方法（latchbio、HealthBench、MedMarks）的成本和保真度权衡，帮助研究社区和资金方决定投资方向——尤其是医疗领域，可能需要在专家策展上投入更多。
- 推动模型评估向过程与认知能力深化：QuestBench 提出的“注意缺失信息”能力，揭示了当前基准的盲区，有望催生更贴近临床真实场景的测试（如约束满足问题）。