GPT-5.6, Grok 4.5, Claude, and Muse Spark build the same 4 apps

背景

最新一轮AI模型编码能力评测在Hacker News引发热议。作者根据社区反馈改进了评测方法，引入更多开源模型，并增加多次尝试以反映模型稳定性。本次评测聚焦GPT-5.6（三个价位层级）、Grok 4.5、Claude（Opus 4.8与Fable 5）、Meta新发布的Muse Spark 1.1，以及Qwen 3.7 Plus、DeepSeek V4 Pro、Kimi K2.6、GLM-5.2等开源权重模型，共12个模型，构建4个相同的应用程序。

核心内容

评测包含四个核心编程任务，每个模型每项任务执行5次，并记录成功次数、成本和延迟。

任务1：Doom风格光线投射迷宫

• 要求：第一人称光线投射，WASD移动，带深度感的着色墙壁，地板和天花板，碰撞检测。
• 成功标准：能否实际在迷宫中行走、移动和转向。
• 结果：GPT模型全面领先；Grok 4.5在其价位上表现可用；Muse Spark 1.1在部分运行中令人惊喜；Claude表现低于预期。

任务2：3D魔方（打乱+还原）

• 要求：彩色3D魔方，带Scramble和Solve按钮，旋转动画可见。
• 成功标准：两次动画流畅，无闪烁、无颜色变化。
• 结果：GPT在光线投射中3D能力领先但此处表现不佳；Claude Fable 5以5/5全优完成，而Claude Opus 4.8却未能完成一次完美还原。

任务3：计算器

• 要求：数字、运算符、清除、等号、正确的运算符优先级，外观像真实计算器。
• 成功标准：能执行类似(((5×5)−100)÷10)的运算并正确渲染。
• 结果：Claude表现最佳（Opus和Fable都5/5）；GPT-5.6 Sol尝试过度渲染3D风格但效果不佳；GLM-5.2关闭推理后从9分钟失败逆袭为快速低成本的构建。

任务4：康威生命游戏

• 要求：网格画布，播放/暂停/单步/随机化/清除，点击切换细胞状态，动画世代。
• 成功标准：仅记录成本和延迟及一般印象。
• 结果：Grok 4.5表现不错，但此任务简单，开源模型表现极好。Qwen 3.7 Plus和GLM-5.2在此类任务中是性价比首选，但在其他更复杂任务中仍显吃力。

附加任务：SVG绘图

• 画一匹马骑宇航员（5次最佳）和埃隆·马斯克与贝佐斯观看蓝色起源火箭着陆（5次最佳）。
• Claude Fable 5在SVG渲染上表现最佳，细节丰富，风格幽默；GPT模型表现平淡；GLM-5.2和Qwen 3.7也做得很好。

速度与成本实测

• 短提示延迟测试显示：GPT-5.6各层级响应最快（Luna约1秒），Qwen极其便宜且快速，DeepSeek和GLM较慢，与其生成应用时的体验一致。

关键要点

• 前沿模型仍然在复杂任务上胜出：GPT-5.6 Sol在光线投射上最强，Claude Fable 5在魔方上最强。差距在复杂任务上尤其明显。
• 开源模型与前沿模型存在明显断层：在新颖或复杂工作上，开源模型仍有困难（光线投射和魔方任务中体现）。但在简单、常见任务（如生命游戏）中，Qwen 3.7 Plus和GLM-5.2能以极低成本达到优秀水平。
• Grok 4.5在某些任务上达到“Opus级别”：成本敏感型业务可将其作为次要执行模型。
• Muse Spark 1.1是令人惊喜的首秀：整体低于Grok 4.5但优于开源权重模型，但仍不建议立刻用于生产。
• 最贵最新的旗舰并非自动胜出：Claude Opus 4.8在魔方任务上完败于Fable 5，GPT-5.6 Sol在计算器上因过度设计而体验差于简单版GPT。
• 评估方法的改进：每个模型执行5次、公布所有生成产物、读者可自行判断，增强透明度和实用性。

意义与影响

该评测揭示了AI代码生成能力的最新真实格局：前沿闭源模型在需要深度理解与创新的任务上仍保持领先，但开源模型在常见编程模式上正快速追赶，且成本优势显著。Grok 4.5的出现表明竞争正迫使价格下降同时提升质量。Meta的Muse Spark 1.1作为新入局者证明多玩家行业仍存在突破空间。

对开发者而言，这意味着可根据任务复杂度选择合适的模型：复杂三维/动画任务依赖GPT或Claude，简单迭代任务可放心使用低成本开源模型。评测方法本身（多次尝试、全透明输出）也为行业提供了更可靠的比较范式，减少单次偶然性影响。未来，随着开源模型在复杂推理上的进步，前沿与开源之间的差距可能进一步缩小。