Kimi K3在Pelican基准测试中带来新启示

背景

2026年7月16日，中国AI实验室Moonshot AI发布了其最新模型Kimi K3，号称拥有2.8万亿参数，是其“迄今为止能力最强的模型”。该模型已通过官网和API开放使用，并承诺于2026年7月27日前开放权重。Kimi K3的发布标志着中国AI实验室在模型规模上迈入“3T级”门槛，接替了DeepSeek此前1.6T参数规模的v4 Pro成为新的参数规模冠军。

与此同时，技术社区中一直流传着一个非正式的模型测试传统——用“生成一只骑自行车的鹈鹕的SVG”作为基准。这个由知名开发者Simon Willison（本文实际作者，原文来自其个人博客）在21个月前提出的玩笑式测试，意外地成为了衡量模型能力的参考之一。但在当前模型能力快速迭代的背景下，这一测试的价值正在被重新审视。

核心内容

Kimi K3是Moonshot AI发布的第三代旗舰模型，拥有2.8万亿参数，被该公司称为“首个开放3T级模型”（他们将2.8万亿四舍五入到3万亿）。根据Moonshot自报的基准测试，K3在多数指标上超越了Claude Opus 4.8 max和GPT-5.5 high，但落后于Claude Fable 5和GPT-5.6 Sol。

Artificial Analysis对K3的独立评测报告显示：

• 在其私有长周期知识工作评估中，Kimi K3整体Elo得分达到1547，比上一代Kimi K2.6高出732分，仅次于Claude Fable 5。
• 每任务成本为0.94美元，与GPT-5.6 Sol的1.04美元相近，约为Opus 4.8的1.80美元的一半，但高于其他开放权重模型。
• Kimi K3在Artificial Analysis Intelligence Index上的token使用量显著下降，输出token比K2.6减少了21%。

此外，K3在Arena.ai的前端代码竞技场中已成为领先模型，甚至超越了Claude Fable 5。

定价方面，K3输入tokens价格为3美元/百万，输出tokens价格为15美元/百万，与Anthropic的Claude Sonnet系列持平，成为中国AI实验室中定价最高的模型。相比其前代Kimi K2.6（0.95美元/4美元）大幅上涨。2.8万亿参数也是其1T参数前代模型的两倍以上。

作者使用OpenRouter（通过llm-openrouter插件）调用Kimi K3，尝试生成“一只骑自行车的鹈鹕”的SVG。调用消耗了95个输入token和16,658个输出token（其中13,241个为推理token），总成本25美分。由于K3支持图像输入，作者将生成的SVG渲染后再次输入，模型返回了准确的alt文本描述。

作者指出，这个“骑自行车鹈鹕”测试已有21个月历史，最初只是作为比较模型难度的玩笑，但第一年意外地与模型实际能力有较好的相关性。如今这种相关性已经基本消失——GPT-5.6和Claude Fable 5生成的鹈鹕反而不如GLM-5.2，但作者认为GLM-5.2并非Fable级别的模型。作者并不认为各大实验室在专门针对这个基准训练，但猜测Gemini可能针对“动物+交通工具”的组合进行了优化。

该测试最大的局限性在于完全不涉及当前模型最重要的能力：代理式工具调用以及在长对话中可靠地操作工具的能力。因此作者建议不要用鹈鹕测试来比较模型。

尽管如此，作者认为亲自运行这个测试仍有价值：首先，它是一个强制实际使用模型的手段；其次，即使只有一个提示词，也能揭示模型的重要特性。以Kimi K3为例：

• 当前只有一种推理力度“max”，导致消耗了13,241个推理token才能输出3,417个token的回答，成本高达25美分。
• 提示词“Generate an SVG of a pelican riding a bicycle”被计为95个输入token，而OpenAI分词器只计10个，Anthropic的Opus 4.6计10个、Opus 4.7计30个、Sonnet 5/Fable 5计25个。向K3输入“hi”被计为86个token，暗示可能存在85个token的隐藏系统提示，且模型拒绝泄露。
• 视觉能力表现良好，生成的alt文本非常准确。

作者还提到，通过在同一模型的不同推理力度下运行鹈鹕测试，可以快速了解不同力度的影响，并举例展示了GPT-5.6系列模型的矩阵。

总体而言，鹈鹕测试的主要收获是：

• 作为模型提示的“Hello World”练习
• 粗略估算简单任务的成本和推理用量
• 确认模型能输出有效SVG，具备基本几何和空间意识——这对运行在笔记本上的小模型尤为重要
• 同一模型家族内不同版本之间的鹈鹕比较仍有意义，K3的鹈鹕相比Kimi 2.5有明显改进
• 这是一个可以分享并证明作者已尝试过该模型的方式，并且在Hacker News上，每次作者发帖时，如果鹈鹕图出现较晚，评论区就会有人询问。

关键要点

• Kimi K3参数规模达2.8万亿（约3T级），超越DeepSeek v4 Pro的1.6T，成为目前最大的开放权重模型。
• 自报基准领先：在多数指标上超过Claude Opus 4.8 max和GPT-5.5 high，但落后于Claude Fable 5和GPT-5.6 Sol。
• 独立评测（Artificial Analysis）：K3在长周期知识工作评估Elo得分1547，比K2.6提升732分，仅次于Claude Fable 5；每任务成本0.94美元，低于Opus 4.8（1.80美元）但高于其他开放权重模型；输出token使用量比K2.6减少21%。
• 前端代码能力领先：在Arena.ai前端代码竞技场中超越Claude Fable 5。
• 定价高企：$3/$15每百万输入/输出token，是迄今中国AI实验室最贵的模型，与Claude Sonnet系列持平，远超Kimi K2.6（$0.95/$4）。
• 推理成本高：当前仅支持“max”推理力度，单个鹈鹕SVG生成任务消耗13,241个推理token，总成本25美分。
• 隐藏系统提示推测：K3对简单提示词（如“hi”）计数86 token，而实际实际内容仅几个字符，暗示存在约85 token的隐藏系统提示，且模型拒绝泄露。
• 视觉能力良好：对渲染后的SVG图像输入，能准确生成描述性alt文本。
• 鹈鹕基准测试的局限性：已无法有效反映模型综合能力，尤其不涉及工具调用和长对话可靠性，作者建议不要用它来比较模型。
• 作者个人仍使用该测试：作为体验模型、估算成本、验证基础能力的“Hello World”方式，并在同一模型家族版本间对比仍有意义。

意义与影响

Kimi K3的发布标志着中国AI实验室在模型参数规模上再次突破，首次进入“3T级”领域，并承诺开放权重，这将对全球开源社区产生重要影响。然而，其高昂的定价（与主流闭源模型持平）也反映出从中等规模模型向超大规模模型过渡的成本压力。模型在推理token消耗上的显著增加（当前仅支持“max”模式）表明，Moonshot在推理效率上仍有优化空间——相比之下，K3在输出token使用量上反而比前代减少了21%，说明其推理过程可能更侧重于内部思考而非最终输出。

从鹈鹕基准测试的演变来看，这一非正式测试的“预测能力”正在随着模型能力的快速提升而消失。作者明确指出，当前模型评估中最关键的能力——代理式工具