← 返回信息流
Agent SkillLINUX DO · AI·4 小时前

猎户座编辑器更新测试:GPT5.6s完美完成,Kimi雷霆思考21分钟效果不佳

原标题:直接上实际项目更新测试:猎户座编辑器1.0.2版本 手写更新千字要求,gpt5.6s 5分钟内无瑕完成,K3雷霆思考21分钟却也一坨

速览

博主对比测试GPT和Kimi在猎户座编辑器1.0.2版本更新中的表现。GPT仅用5分钟、5.7万tokens就完美完成所有更新要求,代码零瑕疵。Kimi虽耗费21分钟、13万tokens进行深度思考,但出现大量逻辑错误,如折叠工具栏功能重复、换行逻辑错误等。博主认为GPT的理解和执行能力远超Kimi,后者在复杂前端开发任务中仍存在明显短板。

AI 深度解读

背景

该分享来自 LINUX DO 论坛,作者是一名独立开发者,正在维护一个名为“猎户座编辑器”(Orion Editor)的开源项目。编辑器版本号采用四段式(x.x.x.x),当前版本为 1.0.1.0,本次目标是升级到 1.0.2.0。作者同时使用多个 AI 模型(GPT、Kimi、Claude)辅助完成代码更新,并详细记录了一次完整的更新协作过程:他先写了 3000 多字的更新企划,因网络问题丢失,又重写了一遍,最终总描述字数超过 7000 字。作者对 GPT 的表现非常满意,而对 Kimi(K3 雷霆思考)的表现极为失望,认为其虽然思考了 21 分钟、消耗近 13 万 token,但产出的代码几乎完全不可用。

核心内容

作者在本次更新中要求 AI 完成以下主要任务(基于 14 条更新点):

  1. 修复右下角按钮遮挡问题:当输入文字占满屏幕时,复制、预览、上传图片按钮会被遮挡。解决方案是引入“副功能区”,位于编辑区下方,完全复刻论坛编辑器的布局:左侧为复制按钮,右侧为上传图片和预览按钮。

  2. 引入折叠工具栏(展开式工具栏):参考论坛的加号按钮,点击后从屏幕底部弹出一个半屏选择框,关闭输入法,包含以下功能:

    • 预格式化文本(自动加空格和反引号)
    • 插入滚动内容(固定 <div data-theme-scrollable="true"> 格式,光标定位到第二行)
    • 隐藏详细信息(detail)
    • 添加脚注(^[脚注]
    • 模糊剧透(spoiler)
  3. 修复预览模式下的换行变空格问题:加粗、斜体、模糊剧透、颜色及其组合,在上一行有文字时,预览会导致换行被压缩为空格。要求全面清扫。

  4. 优化导出功能:将压缩包、PDF、图片三个导出选项合并为一个按钮(下载图标),点击后以下拉框展示。

  5. 添加字数统计:在复制按钮右侧显示完整字符数(含标点)。

  6. 修复 UI 偏移:当文字占满屏幕时,顶部品牌名和工具栏图标被遮盖的问题。

作者在企划中详细描述了每个功能的实现细节,并强调了“伙伴协议”提示词——该协议要求 AI 在面对用户情绪时优先关怀用户,再执行任务。但 Kimi 没有遵守,而是先长篇大论分析任务再写代码,且代码中出现了严重错误:折叠工具栏与主工具栏功能重复(折叠区有代码块,主工具栏也有同一功能),导致折叠无意义;插入分隔线时无论行是否有文字都自动换行;滚动内容格式错误(连空三行);副功能区按钮变成气泡等。而 GPT 在所有未提及的细节上均完美适配,甚至作者忘记上传参考图,GPT 也能还原论坛编辑器样式。

最终,GPT 仅用约 4 分钟、57295 token(含思考)完成全部代码,代码量翻倍但功能完整;Kimi 耗时 21 分钟、近 13 万 token,代码几乎不可用;Claude 思考 1 分钟,思路清晰且先接住用户情绪,代码增加约 5000 行,虽不完全符合但优于 Kimi。

关键要点

  • 模型表现差异巨大:GPT(gpt5.6s)在 5 分钟内零瑕疵完成所有要求,包括作者忘记提及的细节;Kimi(K3 雷霆思考)21 分钟思考后产出完全不可用的代码,核心功能理解错误(折叠工具栏与主工具栏功能重复)。
  • 思考时长与质量不成正比:Kimi 的“雷霆大思考”消耗近 13 万 token,但过度拆解用户需求,导致输出冗余且偏离重点;GPT 思考更短,直接产出高质量代码。
  • 提示词协议执行不力:作者的“伙伴协议”明确要求面对用户情绪时优先关怀,但 Kimi 未在第一时间接住用户的沮丧情绪,而是先分析任务;GPT 和 Claude 则先安抚用户。
  • 代码复杂度与可维护性矛盾:GPT 的代码量翻倍,虽然功能完美,但作者担心未来做成脚本时部署困难;Claude 代码增加较少,但功能不完全符合。
  • 用户行为与 AI 协作的痛点:作者花费 7000 字描述需求,仍因网络问题丢失第一版,导致重复劳动;AI 对“光标所在行有文字则自动换行,无文字则直接插入”的指令理解错误,暴露出对上下文逻辑的把握不足。
  • 全平台适配要求:作者强调优先保证手机端(安卓、谷歌浏览器、安卓 16)体验,但 Kimi 的错误非环境因素导致,而是逻辑错误。

意义与影响

该案例展示了当前强 AI 模型在复杂、多步骤、高定制化前端开发任务中的实际表现差异。它揭示了几个深层次问题:

  1. “思考”不等于“理解”:Kimi 的长时间思考反而导致过度分析,偏离用户真实需求;而 GPT 的短思考更聚焦于用户意图。这暗示模型的内省机制(chain-of-thought)并非越长越好,需要平衡推理深度与任务聚焦。

  2. 提示词工程的价值与局限:用户精心编写的“伙伴协议”和共识文档(7000 字描述)并未被所有模型有效遵守。Kimi 忽略了协议中的情绪优先级,说明模型对隐式规则(如“用户情绪比任务重要”)的推理能力存在瓶颈。

  3. AI 协作中的“信任成本”:用户因一次网络问题丢失了 3000 字企划,被迫重写,这暴露了当前 AI 协作工具缺乏持久化上下文和草稿恢复机制。理想情况下,AI 应能感知输入中断并主动协助用户保留记忆。

  4. 对开源工具开发者的启示:猎户座编辑器作为个人项目,依赖 AI 辅助更新。作者对 GPT 的依赖性极强,而 Kimi 的失败导致大量时间浪费。这提醒开发者:在不同任务上应选择合适的模型,并建立回退机制。

  5. 模型能力差异对社区的影响:LINUX DO 论坛的讨论(20 个帖子,6 位参与者)说明开发者社区高度关注 AI 的实际开发能力。该案例可能引发更多用户对 Kimi 等模型的质疑,并推动模型厂商优化长上下文推理和指令遵循能力。

  6. “AI 感”与人文关怀的平衡:用户强调“希望 AI 首先让我忘记它是 AI”,而 GPT 和 Claude 在情绪上做到了先接住用户,这体现了情感计算在 AI 协作中的重要性——即使是在代码任务中,用户的情感状态也会影响协作效率。

查看原文 →linux.do