验证器即课程：执行门控自蒸馏提升跨族游戏生成

背景

代码生成模型在监督微调后，往往依赖一个学到的评判器（learned judge）进行后训练，以优化代理特征（proxy features）。然而，这种做法可能导致模型仅仅提升评分，却未能真正改善生成产物的质量。针对这一问题，本文探索一种相反的信号：一个确定性的、无需评判器、无法被“钻空子”的过滤器——即生成的代码项目在无头引擎（headless engine）下能否干净启动（strict-launch）。在该过滤条件下，基于拒绝采样的自我蒸馏（rejection-sampling self-distillation）能够显著提升对未见游戏家族的泛化能力。研究以游戏生成为验证场景，展示了“验证器即课程”的核心洞见：验证器所认证的东西，就是模型真正学到的东西。

核心内容

论文在 GameCraft-Bench 基准上展开实验，该基准的任务是将自然语言描述映射为完整的 Godot 项目。研究者使用一个 14B 参数模型（Qwen3-14B + LoRA），在“严格启动”（strict-launch）过滤条件下进行自我蒸馏，共进行三轮迭代。每轮蒸馏仅保留那些能够在无头引擎下干净启动的生成项目作为训练数据。

实验结果显示，经过三轮蒸馏后，模型在四个未见过的游戏家族上的干净生成率从基线的 8.8% 提升至 42.2%（每候选样本），而最佳-of-K 覆盖率从 18/25 提升至 25/25（达到黄金上限）。每轮提升均具有统计显著性（p 值分别为 0.0019、<1e-4、<1e-4）。

为了排除增益仅仅来自数据量增加，研究者设计了精确匹配的“黄金复制”对照实验：将基线模型产生的成功样例复制相同数量作为训练数据，结果该对照模型不仅没有提升，反而退化至低于基线（5.6% vs 8.8%，p=0.019）。而另一个控制实验——将蒸馏过程分解为质量通道和数量通道——发现第一轮到第二轮的提升可被分解为质量提升（+8.8 百分点）和数量提升（+8.5 百分点），两者贡献相当。

最直接的消融实验是：仅将过滤器从“严格启动”替换为更宽松的“BUILD 检查”（该检查通过率高达 99.9%），然后重复整个蒸馏循环。结果增益完全消失（模型表现回归基线，与严格启动过滤轮次相比 p=1e-3）。这证明了增益的根源在于验证器的精度，而非优化算法本身。

此外，研究还引入第二个不可钻空子的信号——“无头执行接地性”（headless execution grounding），该指标随蒸馏轮次单调上升。在相同预算下，严格启动蒸馏产生的接地候选数量远多于黄金复制（16 vs 5），这证实了增益是功能性的，而非“启动但空壳”的假象。

关键要点

• 核心方法：Execution-Gated Self-Distillation（执行门控自我蒸馏），使用确定性过滤器（strict-launch）筛选高质量生成项目，迭代训练。
• 主要发现：在 GameCraft-Bench 上，14B 模型经过三轮蒸馏后，干净生成率从 8.8% 提升至 42.2%，最佳-of-K 覆盖率从 18/25 升至 25/25。
• 增益来源验证：通过黄金复制对照实验排除数据量假说；通过替换过滤器为宽松 BUILD 检查的消融实验，证明验证器精度是关键。
• 质量与数量分解：第一轮到第二轮的提升可分解为质量通道（+8.8pp）和数量通道（+8.5pp），两者基本相当。
• 功能验证：第二个信号“无头执行接地性”单调上升，且蒸馏产生的接地候选数是黄金复制的 3 倍以上（16 vs 5），表明模型学到了真正的功能实现。
• 核心教训：验证器即课程——模型最终学到的是验证器所认证的内容，而非代理特征。

意义与影响

该研究为代码生成的后训练范式提供了重要启示：与其依赖一个可被操纵的学得评判器，不如使用一个确定性的、不可钻空子的执行过滤器。这种“执行门控”策略不仅避免了代理优化陷阱，还直接提升了模型对未见任务的泛化能力。游戏生成作为一个高度可验证的测试床，展示了这种方法的有效性，但结论可能适用于更广泛的代码生成和软件工程任务。此外，论文提出的“验证器即课程”观点，将训练信号的选择提升到了课程设计的核心位置，对强化学习中的奖励设计、自我蒸馏中的数据筛选等方向具有指导意义。未来工作可探索将类似思想应用于其他领域，如机器人控制、程序合成等，并进一步研究如何将多个不可钻空子的验证器组合成更丰富的课程信号。