Schema Harness 在 Arc-AGI-3 公开测试中准确率近99%

背景

ARC‑AGI‑3 是一套衡量通用智能的基准测试，由 Francois Chollet 等人设计。它并非传统的监督学习或强化学习任务，而是将每个环境设计成一种“不告诉你规则的电子游戏”。智能体（agent）只获得一个 64×64 的网格（含 16 种颜色索引）和一个合法动作集合，没有对象列表、规则说明书、预设目标或塑形奖励。唯一的进步方式是“物理学家的方式”：在模型尚不完善时通过假说驱动行动，根据新观测不断修正自己对网格表征、动作转换和成功条件的理解。

该基准推出以来，对前沿模型异常困难。其官方指标是相对人类行动效率（RHAE），将智能体每关的行动次数与人类首次接触该环境时的基线比较，并按关卡加权汇总。100% 意味着在每个环境的每个关卡上都达到或超过人类的行动效率。官方评测结果显示，前沿模型在 Semi‑private 集上的表现从 2025年3月发布时的 0.51% 缓慢爬升到 GPT‑5.6 Sol 在最大推理设置下的 7.78%（7月）。同一模型在 Public 集上也只拿到 13.33%，距离人类参考值仍有巨大差距。

核心内容

今天介绍的 Schema harness，在不修改模型权重的前提下，通过改变模型的外围流程——如何将观测转化为可运行的游戏模型、如何将预测与交互历史比对、如何执行和修正规划——使用 Claude Opus 4.8 和 Fable 5 在 ARC‑AGI‑3 Public 集上达到 98.98% 的 RHAE 分数，使用 GPT‑5.6 Sol 达到 95.35%。两者均采用固定回退规则：先跑 Opus 4.8 和 Sol xhigh，对每关得分低于 80 的关卡分别改用 Fable 5 和 Sol max 重跑，取每关的最高分。

物理学家的思考方式

Schema 的设计思想是像物理学家一样工作。物理学家在写下一条定律之前，必须先决定这条定律关于什么：观测中的哪些部分是对象？哪些属性定义了状态？然后才能问状态如何变化。Schema 将这些问题形式化为两个子问题：状态基础（state grounding）——将原始观测转化为可追踪的对象、变量和关系；机制发现（mechanism discovery）——找到在某个动作下状态如何变化，并将规则写成可执行程序。

早前的系统如 VIGA 专注于第一个问题，通过“合成分析”从远超 ARC 网格的连续视觉输入中恢复场景程序。而 WorldCoder 等系统专注于第二个问题，从轨迹中学习转换程序，但初始状态表征已经结构化。Schema 的核心理念是：这两个问题必须联合求解——智能体必须同时构建状态表征和转换规则。

在 Schema 中，状态表征与转换规则被共同编码在同一个可编辑程序中。当观测与预测矛盾时，智能体可以修改表征或规则，然后更新另一方以恢复一致模型。这镜像了物理学家的实践：当预测持续失败时，他们并不仅仅调整定律，而是改变对状态本身的定义。狭义相对论的诞生是典型案例：当迈克尔逊‑莫雷实验检测不到光波所依赖的“以太”时，洛伦兹选择了第一条路——保留以太、用收缩假说补丁吸收零结果；爱因斯坦选择了第二条路——抛弃作为状态的以太，使同时性变成相对框架，从而得到简洁运动的电动力学。

ARC‑AGI‑3 要求智能体从原始观测中构建这两层。网格未标明对象或目标，因此智能体必须自行决定哪些模式对应于玩家、墙壁、计数器等实体，推断动作如何转换它们，并确定哪些配置算作进展或完成。甚至目标谓词（在 Schema 中实现为 is_goal）也必须从交互中推断出来。

数字解读

官方指标 RHAE 的精确计算：对于每个完成的关卡，分数为（人类行动次数 ÷ 智能体行动次数）²，上限 1.15。在同一游戏内，关卡权重从 1 递增到 n，因此后续关卡对游戏分数贡献更大。一个基于同样权重的完成上限阻止了一个游戏在未清掉所有关卡的情况下获得 100% 分数。基准分数是所有游戏分数的平均值。所有环境动作（包括探索性动作）都计入智能体总行动数，由于效率比取平方，多余行动会急剧降低分数。因此 98.98% 是一个包含完成度和行动效率的聚合指标，而非游戏解决百分比。

Claude 对比实验：将 Claude Code 的开发快照作为基线输出，同一组 Opus 4.8 + Fable 5 得到 42.83%；使用 Schema 后达到 98.98%，提升 56.15 个百分点。这是一个受控对比（相同底层模型），隔离出流程差异带来的增益。

Sol 对比：使用 Sol xhigh + Sol max 回退配对，Schema 达到 95.35%。官方参考值中最佳个体变体 Sol max 在 Public 上为 13.33%，在 Semi‑private 上为 7.78%。图表中显示的 82.02% 差值属于上下文比较（不同评测集和不同变体），并非 Schema 增益的受控估计。

验证状态：这两个分数（98.98% 和 95.35%）是自报结果，基于 Public 集上运行并随文章发布的工件计算，尚未由 ARC Prize 独立验证。

Public 集推测能力：所有 Schema 数据均来自 25 个公开游戏。Sol max 提供了一个跨评测集的官方校准点（Public 13.33% vs Semi‑Private 7.78%），但这不足以用天花板级的 Public 分数来数值外推 Semi‑private 上的表现。直到实际测量前，98.98% 的 Public 分数对应 Semi‑private 上的多少仍是未知。可用工具体现的只有 Public 集运行，因此本文不做任何 frozen‑harness 或 held‑out 性能声明。

配对明细：在保留的 Claude 结果中，14 个游戏使用 Opus 4.8 运行，11 个使用 Fable 5 运行。14 个 Opus 运行中有 13 个得分 100，11 个 Fable 运行中有 6 个得分 100，总计 19 个游戏得 100 分。在保留的 Sol 结果中，15 个游戏使用 xhigh 运行，10 个使用 max 运行。15 个 xhigh 运行全部得 100 分；10 个 max 运行中 5 个得 100 分、5 个低于 100 分。所有缺失分数集中在少数游戏上：Claude 配对距离 100 总分仅差 1.02 个百分点，19 个游戏恰好满分 100。

关键要点

• 不修改模型权重：Schema 的改进完全来自改变模型的使用方式——如何将观测编码为可运行程序、如何验证预测、如何规划并执行。
• 联合状态基础与机制发现：这是 Schema 区别于 VIGA、WorldCoder 等早期系统的核心创新。状态表征和转换规则在同一个可编辑程序中联合演化，遇到预测失败时双向修正。
• 定量增益显著：在受控 Claude 对比中，同一组模型从 42.83% 提升到 98.98%（+56.15 个百分点）；Sol 部署也从官方个体最佳 13.33% 上升到 95.35%（但该跨度并非严格受控比较）。
• 三个强制约束：Schema 强制三件事——将当前世界模型编码为可运行 step() 程序；使用前用所有历史转换验证程序；仅通过 commit_actions 发送动作，预测出错后立即丢弃剩余规划。
• 分数含义：98.98% 表示在 Public 集的 25 个游戏中，智能体以接近人类的效率完成了几乎所有关卡（19 个满分，其余关卡效率略低），并非“解决了 98.98% 的游戏”。
• 验证局限：当前仅有自报结果，未经独立第三方验证；Semi‑private 集上的对应分数未知。

意义与影响

Schema 的成果表明，在当前前沿语言模型（如 Claude