零微调低成本Agent框架在ARC-AGI-1上达67%准确率

背景

近年来，在 ARC-AGI-1 基准上取得进展的公开架构主要来自两种范式：一是基于前沿模型的重测试时计算（如进化搜索、穷举采样、扩展思维链），二是针对基准的专门训练——即用小模型在 ARC 数据上进行微调，通常配合任务特化架构。然而，这些方法要么计算成本高昂，要么依赖特定训练数据，限制了泛化性。本文探索了第三种路径：在严格预算下，使用非思考模式的开放权重模型（DeepSeek V3.2），且不进行任何 ARC 特定微调，仅通过架构设计来提升抽象推理与泛化能力。

核心内容

本研究构建了两种显式分解模式发现与程序合成阶段的 agent harness（智能体框架），并在不依赖基准特定训练或重型测试时计算的前提下，实现了显著的性能提升。

1. Explorer-Definer Pipeline（探索-定义流水线）
该流水线将模式发现与可执行变换合成分离为两个阶段。第一阶段（Explorer）负责识别输入输出对中的潜在模式；第二阶段（Definer）根据发现的模式合成具体的变换程序。流水线以两阶段 agent 形式实现，在 ARC-AGI-1 公开的 400 任务评估集上达到 57.50% pass@2，每任务成本仅 0.25 美元。

2. Reflective Orchestrator（反思编排器）
在流水线基础上，编排器增加了自主探索能力：当先前假设在训练对中失败时，它会自动探索新的变换。该编排器将 pass@2 提升至 67.25%，每任务成本为 0.62 美元。两个架构共同将仅 15.50% 的单次基线提升了约 52 个百分点，且未使用基准特定训练或重型测试时计算。

3. 诊断与预测
编排器驱动的提升检验了流水线产生的一个可证伪诊断：无偏的 pass@k 分析表明，流水线受限于生成环节（generation-bound），而非选择环节（selection-bound）——通过训练对准确率进行的选择可以捕获约 95% 的候选上限。这预测出，显著改进需要更广泛的生成，而非更好的排序。编排器通过自适应重新探索实现了这一预测，并验证了结果：无偏 pass@1 提升 +9.81 个百分点，与选择介导的 pass@2 提升相匹配。

4. 消融实验
额外流水线消融实验识别出其中的“思考工具”（think tool）是关键组件：移除该工具会导致 pass@2 下降 5.75 个百分点。

关键要点

• 方法特点：仅使用 DeepSeek V3.2 的非思考模式，无 ARC 特定微调，严格预算控制。
• 性能与成本：
  • Explorer-Definer Pipeline: 57.50% pass@2，$0.25/任务
  • Reflective Orchestrator: 67.25% pass@2，$0.62/任务
  • 相比基线（15.50% pass@1）提升约 52 个百分点。
• 诊断结论：流水线是 generation-bound，即性能瓶颈在于生成候选方案的数量，而非排序质量。选择机制已接近天花板（~95%）。
• 验证方法：编排器通过自适应重新探索扩大生成范围，导致无偏 pass@1 提升与 pass@2 提升一致，证实了诊断。
• 关键组件：“思考工具”对性能贡献显著（移除后 pass@2 下降 5.75 个百分点）。

意义与影响

• 低成本高性能：证明了在不依赖重型计算或基准特定训练的情况下，仅通过架构设计（agentic harness）即可在抽象推理任务上取得显著提升，为资源受限场景提供了可行方案。
• 通用性潜力：由于模型本身未针对 ARC 微调，该方法具有更强的泛化能力，可迁移至其他需要模式发现与程序合成的任务。
• 诊断驱动改进：通过无偏 pass@k 分析识别出 generation-bound 瓶颈，并据此设计自适应策略，展示了可解释的诊断方法在指导模型优化中的价值。
• 组件重要性：消融实验揭示了“思考工具”在 agent 推理中的关键作用，为未来 agent 架构设计提供了实证依据。
• 基准意义：该工作为 ARC-AGI-1 提供了除大规模计算和基准特定训练之外的第三条路径，推动了通用人工智能推理研究的多元化。