Measuring Intelligence Beyond Human Scale
AI 深度解读
背景
随着人工智能系统能力的快速提升，传统的基于人类标注的基准测试（如 GLUE、SuperGLUE、MMLU 等）逐渐饱和，无法区分顶尖模型之间的性能差异。更根本的问题是，当模型能力超越人类水平时，人类评估者自身可能无法判断哪些任务既足够困难又具有可验证性。现有的绝对尺度评估范式（absolute-scale evaluation）无法有效衡量超出人类智能上限的智能水平。这一困境促使研究者重新思考评估智能的方法论。2026 年 7 月，一篇由 arXiv cs.AI 收录的论文《Measuring Intelligence Beyond Human Scale》正式提出了以相对测量为核心的对抗性心理测量新范式，试图解决这一根本性挑战。
核心内容
论文的核心主张是：绝对尺度评估（absolute-scale evaluation）在超越人类能力时存在固有困难，因为人类无法可靠地设计或验证超出自身理解范围的困难任务。针对这一问题，作者提出了一种基于相对测量（relative measurement）的新范式，其核心思想是让模型自身生成公开挑战任务，这些任务能够区分其他系统。通过聚合这些对抗性结果，可以构建一个对抗性心理测量评级系统（adversarial psychometric rating system），该系统的度量尺度能够随着被测量系统的能力而自然扩展。
论文详细描述了实现这一范式的具体协议，包括：
- 降低私有信息攻击（private-information attacks）的激励：通过设计公开挑战任务，避免模型依赖私有训练数据或隐藏信息生成任务，从而减少作弊风险。
- 支持无裁判裁决（judge-free adjudication）：挑战任务的正确性可以由自动化方法或系统间的互相对抗来验证，无需人类裁判介入。
- 自然扩展性：协议本身能够随着智能体能力的提升而自动调整难度，不会出现“天花板效应”。
论文将这一框架实例化到两个领域：
- 可验证领域（verifiable domains）：例如数学证明、代码生成、逻辑推理等，任务的正确性可以通过形式化验证或预定义规则自动判定。
- 开放性的、不可验证领域（open-ended, non-verifiable domains）：例如创意写作、策略博弈、科学假设生成等，任务的评判需要借助系统间的对抗比较或共识机制。
通过这种方式，模型生成的评估可以持续衡量超出人类前沿的系统，而无需依赖人类预先设定的基准。
关键要点
- 核心问题：人类设计的基准测试在超越人类能力后失效，人类评估者无法判断哪些任务既困难又可验证，导致绝对尺度评估的固有局限性。
- 新范式：从绝对尺度转向相对测量，通过模型生成公开挑战任务来区分不同系统，构建对抗性心理测量评级系统。
- 协议设计：包含三个关键特性——降低私有信息攻击激励、支持无裁判裁决、自然扩展至超人能力。
- 实例化领域：可验证领域（如数学、代码）和开放性的不可验证领域（如创意、策略），展示了框架的通用性。
- 核心优势：评估尺度随被测量系统能力自动增长，避免人类基准的饱和问题；减少对人工标注的依赖；适用于未来可能超越人类智能的各类系统。
- 与现有工作的关系：论文并非提出新的具体基准，而是提出一种评估元范式，与对抗性审核、众包基准、心理测量学等概念有交叉，但更强调模型自身生成挑战的闭环。
意义与影响
这篇论文提出的相对测量范式可能对人工智能评估领域产生深远影响。首先，它解决了长期困扰 AI 社区的“基准饱和”问题：当模型在所有现有基准上达到甚至超越人类水平后，我们无法知道它们是否真正智能，或者只是过拟合了特定数据集。通过让模型互相挑战，可以持续产生新的、更困难的测试任务，从而动态衡量智能进步。
其次，该框架的安全性设计（降低私有信息攻击激励、无裁判裁决）有助于构建更鲁棒的评估生态。在对抗性环境下，模型可能尝试通过生成“易于破解”的任务来操纵排名，论文提出的协议通过公开性和可验证性限制了这类行为。
第三，该范式对不可验证领域的扩展意味着我们不仅可以评估推理能力，还可以评估创造力、战略规划等难以量化的能力。这为衡量通用人工智能（AGI）甚至超级智能提供了可能路径。
最后，论文的潜在应用场景包括：AI 竞赛平台、模型能力排行榜、以及未来多智能体系统的协作/竞争评估。如果这一范式被广泛采用，评估将不再依赖人类作为“最终裁判”，而是由系统间的对抗动态自然驱动。当然，该框架也面临挑战，例如如何确保挑战任务具有足够的区分度，如何防止模型串通，以及如何在小规模系统中应用。但无论如何，这篇论文为“超人智能测量”这一难题提供了一个有希望的方向。