用户吐槽御三家Chat模型集体降智

背景

近期，在 LINUX DO 社区的一个 AI 讨论板块中，用户分享了一次针对主流大语言模型（LLM）的测试体验。该用户试图构建一个动态工作流（Dynamic workflow）的提示词（Prompt），并以此与被称为“御三家”的三大聊天模型进行交互测试。这一测试直接触及了当前 AI 应用开发中最核心的环节之一：如何高效、准确地利用 LLM 处理复杂逻辑和动态任务。

核心内容

用户在进行提示词工程测试时发现，不同模型在应对动态工作流生成任务时表现出显著的能力差异，且整体呈现出一种令人担忧的“降智”趋势。

具体测试情况如下：

1. 测试目标：生成一个用于构建 Dynamic workflow 的 Prompt。
2. 测试对象：被称为“御三家”的三大主流聊天模型。虽然原文未逐一列举具体名称，但结合语境及后续对比，通常指代目前市场上最具影响力的几个模型（如 Claude、GPT-4 系列、Gemini 等，或特定语境下的 Llama 等开源头部模型）。
3. 测试结果：
   • Claude：表现相对较好，是三者中唯一保持了一定水准的模型。但用户也注意到，社区内普遍反映 Claude 在代码编写能力上出现了严重的“降智”现象，暗示其能力可能在特定领域有所退化或波动。
   • 其他两家：表现极差。用户描述其反应为“没怎么思考就脱口而出”，这意味着模型缺乏必要的推理深度，直接给出了肤浅或错误的回答，未能体现出处理复杂动态工作流所需的逻辑思考能力。
4. 用户推测：面对这种集体性的能力下滑，用户以调侃的口吻质疑是否因为“全球芯片短缺”，导致各大厂商“商量好了集体降智”。这显然是一种夸张的修辞，旨在表达对当前模型质量不稳定、推理能力退化的困惑与不满。

关键要点

• 模型能力分化加剧：在动态工作流生成这一高难度任务上，头部模型之间出现了明显的性能断层。Claude 虽仍具竞争力，但其他两家主流模型在逻辑推理和深度思考方面表现不佳。
• “脱口而出”现象普遍：部分模型在复杂任务中缺乏 Chain-of-Thought（思维链）式的深度推理，倾向于快速生成表面答案，导致输出质量低下，无法满足专业工作流构建的需求。
• 代码能力存疑：即使是表现相对较好的 Claude，其在代码生成方面的可靠性也受到社区广泛质疑，反映出模型在特定垂直领域（如编程）可能存在过拟合或退化问题。
• 社区情绪与归因偏差：用户对“芯片短缺导致降智”的调侃，反映了开发者社区对模型质量波动的高度敏感，以及将技术问题归因于外部资源限制的幽默化解读，侧面印证了当前 AI 工具在稳定性上的不足。

意义与影响

这一测试案例揭示了当前大语言模型在实际工程应用中的几个关键问题：

1. 提示词工程的复杂性被低估：生成 Dynamic workflow 的 Prompt 本身就是一个高阶任务，需要模型具备极强的指令遵循能力和逻辑规划能力。模型在此类任务上的“降智”，说明现有模型在处理非标准化、高复杂度指令时仍存在明显短板。
2. 模型选择的必要性：对于需要构建复杂工作流或进行代码开发的专业用户而言，不能盲目依赖单一模型。不同模型在不同任务上的表现差异巨大，甚至同一模型在不同版本或不同负载下也可能出现性能波动。
3. 对 AI 工作流可靠性的挑战：如果作为核心组件的 LLM 在基础推理上出现“脱口而出”式的错误，那么基于其构建的自动化工作流（Workflow）的可靠性将大打折扣。这要求开发者在集成 AI 时，必须加入更多的校验机制和人工审核环节。
4. 行业发展的反思：用户关于“芯片短缺”的调侃，虽然夸张，但也暗示了算力资源分配、模型训练数据质量以及模型架构优化之间可能存在的矛盾。如何在有限算力下保持甚至提升模型推理能力，是各大厂商需要面对的核心挑战。