FrontierCode：当代码正确性成为门槛，质量才是新战场

背景

随着大语言模型（LLM）在编程领域的渗透，AI 生成代码已成为通往生产环境的主要路径。然而，当前的 AI 编程基准测试（Benchmarks）主要关注模型能否写出“正确”的代码。随着基础能力的提升，正确性（Correctness）已不再是区分模型高下的关键指标，而是成为了入场券（Table Stakes）。

业界亟需一个新的问题：模型究竟能否写出高质量的代码？

现有的主流基准测试，如 SWE-Bench Verified 和 SWE-Bench Pro，主要是为早期能力较弱的模型设计的。它们在现实感和鲁棒性上存在显著缺陷：

1. 仅测试功能正确性，忽视质量：这些基准往往只关注代码是否能通过测试，而忽略了代码风格、可维护性、作用域纪律等生产级标准。
2. 误分类率高：METR 等机构的实验发现，在这些基准上得分高的模型，其生成的补丁（Patches）往往无法被人类维护者接受。这主要源于两类错误：
   • 假阳性（False Positives）：测试覆盖率不全，导致模型写出了错误的代码却通过了验证。
   • 假阴性（False Negatives）：测试过于具体（如检查特定的错误字符串或函数名）或测试了指令中未包含的行为，导致正确的代码被错误惩罚。

为了解决这些问题，Cognition 公司推出了 FrontierCode，这是一个旨在衡量模型编写高质量、可维护的生产级代码能力的基准测试。

核心内容

FrontierCode 不仅仅是一个测试集，更是一套由开源维护者主导、经过严格质量控制的评价体系。其核心设计理念是模拟真实软件开发中的“合并请求”（PR）审查流程。

1. 由开源维护者亲手打造

FrontierCode 区别于其他自动化生成基准的最大特点在于其数据来源。

• 专家参与：20 多位世界级的开源开发者（来自 Celery、Budibase、uppy、Mattermost 等知名项目）参与了任务构建。
• 海量工时：每位维护者为每个任务投入了超过 40 小时。他们从自己维护的代码库中挑选真实、多样且具有挑战性的编程任务，并定义了在他们项目中“可合并”的具体标准。
• 人工审核：每个任务都经过 Cognition 研究人员的逐一人工审核，建立了包含对抗性测试、校准和多阶段审查的严格质量控制管道。相比 SWE-Bench Pro，FrontierCode 的假阳性率降低了 81%。

2. 衡量“可合并性”（Mergeability）

FrontierCode 是首个衡量代码“可合并性”的基准。它评估的维度包括：

• 端到端代码质量：不仅看功能，还看测试质量、作用域纪律、代码风格以及对代码库标准的遵循程度。
• 混合评估技术：采用单元测试、评分标准（Rubrics）以及新型验证器的集成方案。
• 评分机制：
  • 通过率（Pass Rate）：如果解决方案通过了所有“阻塞性标准”（即维护者在代码审查中视为不可接受的硬伤），则视为通过。
  • 得分（Score）：基于评分标准项目的加权聚合。未通过阻塞性标准的得分为 0。

3. 任务难度分级与评估方法

FrontierCode 提供了三个嵌套的难度子集：

• Diamond（钻石级）：50 个最困难的任务。
• Main（主级）：100 个最困难的任务（包含 Diamond）。
• Extended（扩展级）：完整的 150 个任务。

在评估过程中，每个模型在每个推理努力级别（Reasoning Effort）下运行 5 次，取平均值，并报告其在最佳推理水平下的得分。

4. 基准测试结果

尽管模型能力在进步，但在 FrontierCode 的高标准下，即使是当前最强的模型也显得力不从心：

• Diamond 级别（最难）：

  • Claude Opus 4.8：得分 13.4%（目前最佳）。
  • GPT-5.5：得分 6.3%。
  • Gemini 3.1 Pro：得分 4.7%。
  • Kimi K2.6（最佳开源模型）：得分 3.8%。
  • 注：虽然 Opus 4.8 得分最高，但 GPT-5.5 使用的 Token 数量仅为 Opus 4.8 的 1/4，在成本效益上表现更佳。

• Main 和 Extended 级别：

  • Opus 4.8：Main 级别得分 34.3%，Extended 级别得分 51.8%，保持领先。
  • Kimi K2.6：Main 级别 16%，Extended 级别 37%。
  • 开源模型与前沿闭源模型之间存在巨大差距。

5. 构建方法论的革新

• 提示词工程：FrontierCode 的提示词长度仅为 SWE-Bench Pro 的三分之一，更加简洁、人性化。它要求模型像人类贡献者一样，根据上下文推断维护者的意图，而不是依赖过度详细的指导。
• 代码库指南：提示词包含两部分：任务描述和通用的测试、Lint 及风格指南（类似 AGENTS.md 文件）。
• 多样性：相比其他基准通过程序化抓取单个 PR 生成任务，FrontierCode 由维护者从多 PR 链和自由格式请求中手工筛选，并将涵盖的语言数量增加了三倍。
• 难度来源：通过质量评分标准而非单纯增加补丁大小来提升难度，使得 FrontierCode 比 DeepSWE 等基准更难。

关键要点

• 范式转移：AI 编程的评估重点已从“功能正确性”转向“代码质量”和“可合并性”。
• 真实性：FrontierCode 由 20+ 顶级开源维护者构建，每个任务耗时 40+ 小时，确保任务真实反映生产环境需求。
• 高信噪比：通过严格的人工审核和混合验证技术，FrontierCode 的假阳性率比 SWE-Bench Pro 低 81%，提供了更准确的模型排名信号。
• 前沿模型仍显稚嫩：即使是表现最好的 Claude Opus 4.8，在最高难度的 Diamond 任务上得分也仅为 13.4%，表明当前模型距离生产级高质量代码仍有显著差距。
• 成本与性能的权衡：GPT-5.5 在得分略低于 Opus 4.8 的情况下，Token 消耗仅为后者的 1/4，显示出更高的成本智能（Cost-Intelligence）。
• 开源与闭源的鸿沟：最佳开源模型 Kimi K2.6 在 Diamond 任务上仅得 3.8%，与前沿模型存在数量级的差距。
• 评估维度多元化：不仅测试代码能否运行，还测试代码风格、测试质量、作用域纪律以及对特定代码库规范的遵循。

意义与影响

FrontierCode 的发布标志着 AI 编程评估进入了一个更成熟、更贴近工业界现实的阶段。

1. 重新定义“好代码”：它打破了以往仅以单元测试通过率论英雄的局面，引入了“维护者视角”。如果一段代码不能通过人类维护者的审查（即无法合并），那么在生产环境中它就是不合格的。这迫使模型开发者关注代码的可维护性、风格一致性和架构合理性。
2. 遏制基准测试刷分（Gaming the Benchmark）：由于 FrontierCode 依赖于人工构建的复杂上下文和主观质量判断，且测试用例具有高度的领域特异性，模型很难通过简单的模式匹配或过拟合来刷高分。Martin McKeaveney（Budibase CTO）指出，这有助于展示模型真正的智能和创造力，而非仅仅是在玩弄基准测试。
3. 指导模型优化方向：结果清晰地表明，当前的“前沿”