Kimi K3测评:一直吹国模的作者这次泼冷水
速览
Kimi K3的Harness存在严重问题,无法发挥模型实力,表现与kimi-cli和kimi work一致,远不如Claude Code和ZCode。作者使用Moderato套餐测试发现配额消耗差异大,K3价格昂贵。Grok 4.5在Cursor和Grok Build中表现稳定、速度快,但实际使用成本不低。测试结果显示K3 Max在Claude Code/ZCode下能解决深层问题并规避库bug,但Harness仍需改进。
AI 深度解读
背景
随着国产大模型持续迭代,Kimi 推出了最新旗舰模型 K3(Kimi K3),并提供了配套的 CLI 工具(kimi-cli)和自动化工作流(kimi work)。此前作者一直对国产模型持积极态度,但在实际使用中发现了 K3 在工具链(Harness)上的严重问题,以及较高的配额消耗,认为其表现远未达到预期。与此同时,作者还测试了 Grok 4.5 在 Cursor 和 Grok Build 中的表现,并对比了 Claude Code、ZCode 等工具的实测结果。
核心内容
原文主要围绕三部分展开:Kimi K3 的 Harness 问题、配额与成本、以及 Grok 4.5 的体验对比。
Harness 问题:Kimi 的 Harness(任务执行框架)存在重大缺陷,完全无法发挥 K3 模型应有的水平。具体表现为,无论是使用 kimi-cli 还是 kimi work,其表现与耗时完全一致,远不及 Claude Code 或 ZCode。作者质疑 Kimi 在 Harness 的设计上“照着抄还不会”,认为如果非要自研,那么 Claude Code、OpenCode、Grok Build 走过的弯路 Kimi 都得再走一遍。
配额与成本:作者使用 Moderato 套餐进行测试,在 5 小时配额内,各工具的消耗如下:
- kimi-cli:5%
- kimi work:5%
- ZCode(启动了子代理):32%
- Claude Code:10%
结论:K3 使用成本非常高昂。
Grok 4.5 体验:Grok 4.5 在 Cursor 或 Grok Build 中都表现稳定,输出全部使用自然语言(说人话),无错别字。速度快到几乎看不到思考过程,stream 输出极快(“像窜稀一样”)。Grok Build 的 TUI(终端用户界面)非常有品味,视觉和操作手感是全新体验。但价格并不便宜,目前感觉便宜是因为 Cursor 有 4 倍额度优惠,Grok 有免费试用。一旦恢复原价,Cursor Pro 将难以使用。
测试结果(后端):
- K3 Max 通过 kimi-cli / kimi work 的表现等同于 Opus 4.6:能发现并解决表面问题,能发现深层问题但不会自动修改,只能提示用户手动修改。Harness 问题严重。
- K3 Max 通过 Claude Code / ZCode 的表现得 100 分,等同于 GPT 5.5 xhigh:能解决表面问题,解决深层问题且改动代码量比 GPT 5.4 少、比 Gemini 3.1 多,还能发现所引用库的 bug 并在本地业务代码中优雅规避,不修改库文件。Claude Code 用时 2 分 7 秒,非常快;ZCode 开启子代理进行代码库全面扫描,用时 9 分 56 秒。
- Grok 4.5 High 在 Cursor Max / Grok Build 中表现也得 100 分,等同于 GPT 5.5 xhigh(能力描述同 K3 Max + Claude Code/ZCode)。用时不到 2 分钟(未开 fast 模式),是所有测试中最快的。
文中还提到从 3 月开始的测试记录,但未展开细节(“click for more details”)。
关键要点
- Kimi K3 的 Harness 是最大短板,kimi-cli 和 kimi work 表现相同,远低于 Claude Code 和 ZCode,作者质疑其设计合理性。
- 在同等配额下,K3 消耗(5%)远低于 ZCode(32%)和 Claude Code(10%),但实际上 K3 的 Harness 无法展现模型能力,导致性价比极低。
- Grok 4.5 在速度和稳定性上表现突出,输出质量高,Grok Build 的 TUI 体验获得好评。
- Grok 4.5 的实际成本并不低,当前的低价体验依赖优惠和免费额度。
- 通过更换 Harness(如使用 Claude Code 或 ZCode),K3 Max 模型能力可得到充分发挥,评分从“同 Opus 4.6”跃升至“同 GPT 5.5 xhigh”。
- Claude Code 和 ZCode 在处理深层问题时均能发现并优雅规避库的 bug,且代码改动量适中。
- Grok 4.5 在同类测试中速度最快(<2分钟),且无需开启 fast 模式。
意义与影响
该测评揭示了当前国产大模型在模型能力之外的一个重要短板:工具链(Harness)的成熟度。即使模型本身(K3 Max)通过优化框架(如 Claude Code)能够达到顶尖水平,但如果官方配套的 CLI 和工作流无法有效利用模型能力,用户体验将大打折扣。这对 Kimi 的工程团队提出了明确要求——必须优化 Harness 设计,否则将难以与 Claude Code、Grok Build 等成熟工具竞争。
同时,Grok 4.5 的表现在速度、稳定性、用户体验上树立了新的标杆,但高昂的实际成本(尤其是恢复原价后)可能限制其普及。对于开发者和团队而言,选择工具时应同时考虑模型能力、工具链效率以及实际成本,而非仅关注模型基准测试分数。
此外,作者作为长期支持国产模型的用户,此次“泼冷水”也反映出理性评价的重要性:不应因情感偏向而忽视产品的实际缺陷。国产模型需要在工程化、工具生态上持续投入,才能真正提升生产力。
