Local Qwen 并非劣质的 Opus，而是另一种工具：一位软件创始人的深度复盘

背景

在当前的 AI 舆论场中，我们经常听到一种声音，认为本地部署的 Qwen（通义千问）27B 或 35-A3B 模型已经达到了“接近 Claude Opus 的水平”。然而，这种观点往往缺乏来自实际软件工程和商业场景的严谨验证。

本文作者是一位小型软件企业的创始人，也是知名开源项目 OpenFaaS 的维护者。他并非为了博取眼球的网红 CEO，也不是在飞机上随意发推的评论家。他的观点基于真实的商业应用数据：他的公司使用本地模型已经产生了实质性的、带有特定前提条件的价值。

这篇文章旨在透明地分享他的经验：本地模型如何在最初两三个月内收回硬件成本，如何服务于特定的业务场景，以及为什么他仍然无法完全信任无人监管的模型。特别地，他指出了 Qwen 模型在量化以适应消费级 GPU 时最致命的弱点：无限循环和幻觉风险。

核心内容

1. 作者背景与 AI 使用历程

作者从 2016 年开始维护 OpenFaaS，当时软件构建完全依靠手工。随着社区的发展，他转向了开源核心（open-core）模式，并创办了一家自举型公司。目前，他的团队维护着多个产品，包括 OpenFaaS、SlicerVM（AI 沙箱）、Actuated.com（自托管 CI 运行器）和 Inlets.com（自托管隧道服务）。

这些产品基于底层 Linux 原语（如容器、Kubernetes、Firecracker 微虚拟机），强调效率、用户体验、控制和自主权。代码主要用 Go 编写，部分包含 React UI。

在 AI 工具的使用上，作者经历了从早期的 VS Code 代码补全，到利用 ChatGPT 生成代码片段或查找 Bug，再到如今每天在 tmux 中工作 12 小时的过程。他甚至开发了 Superterm.dev 来追踪编码代理的反馈。他承认，虽然自己坚持亲自撰写文档和文章，但代码编写工作绝大多数已由 Claude 或 Codex 完成。

2. 前沿智能的转折点

作者指出，2025 年 11 月至 2026 年 1 月期间是一个关键转折点。许多开发者开始在 X（原 Twitter）上宣称 Claude Opus 彻底改变了工作流，能够处理所有编码任务。与此同时，顶级编码计划的月费稳定在约 200 美元，对于其产生的价值而言，这一价格是可接受的。只要避免过多的无人值守工作，用户通常可以控制在 5 小时和每周限额内。

3. 为什么本地模型值得关注？

尽管有观点认为“为什么不用得起最好的”，但 2026 年的市场环境发生了变化：任何想法都可能被拥有订阅服务的开发者在一夜之间克隆。作者以 SlicerVM 和 Superterm 为例，说明即使是精心架构的产品也面临被低成本克隆的风险。

从参数规模来看，领先模型拥有 0.5-2 万亿参数，远超本地硬件能运行的最佳模型。然而，即使是像 Qwen 3.6 27B 这样的小型稠密模型，在 SWE-Bench Verified 基准测试中也能取得 77.2 分的成绩，而 Claude Opus 4.8 为 88.6%。这导致许多人宣称本地模型仅落后 SOTA（最先进）12%，甚至声称一张 6 年前的 GPU 就能替代 200 美元的 ChatGPT Pro 订阅。

4. 基准测试的局限性（Benchmaxxing）

基准测试是动态变化的，且容易被优化。以 SWE-Bench Verified 为例，它主要基于 Python 问题。然而，作者团队主要使用 Go 语言编写分布式系统，涉及通道（channels）、上下文（contexts）和结构体（structs）。因此，基于 Python 的基准测试并不能完全反映 Go 语言分布式系统开发的真实能力。

5. 成本与主权

关于“本地模型不关乎成本”的观点往往源于特权视角。对于个人开发者，200 美元的月度编码计划提供了极高的使用量。然而，GitHub Copilot 等平台的定价策略变化（从固定请求量转向基于 Token 计费）揭示了隐藏成本。对于重度使用、循环分析或 SaaS 集成的场景，本地模型确实能带来显著价值。

更重要的是主权与隐私。作者的公司服务于对数据控制要求极高的企业客户。他们的产品理念是隐私和主权：

• OpenFaaS：在用户的基础设施上运行函数。
• SlicerVM：在用户自己的设备（包括 MacBook）上运行微虚拟机，而非抽象的云裸金属。
• Inlets：提供完全隐私控制的隧道服务。
• Actuated：让用户在自己的机器上安装代理，摆脱对 GitHub Actions 的依赖。

因此，本地模型不仅符合他们的核心价值观，也是履行对客户数据主权承诺的必要手段。

关键要点

• 模型定位差异：Local Qwen 并非劣质的 Opus，而是一种不同的工具。它适合特定的本地化、隐私敏感场景，但在通用编码能力上仍有差距。
• 基准测试误导：SWE-Bench 等 Python 基准测试不能准确反映 Go 语言分布式系统的开发能力，存在“刷分”（Benchmaxxing）现象。
• 量化带来的风险：当 Qwen 被量化以适配消费级 GPU 时，会出现严重的无限循环和幻觉风险，这是目前最大的痛点。
• 成本结构的真相：云端编码计划（如 200 美元/月）是补贴性质的，一旦转向严格的 Token 计费，重度使用的成本会迅速上升，本地模型在大规模部署中具有经济优势。
• 数据主权优先：对于处理敏感数据的企业客户，本地模型提供了必要的隐私控制和基础设施自主权，这是云端 API 无法替代的核心价值。
• 人机协作现状：尽管 AI 能力大幅提升，作者仍坚持亲自撰写非代码内容，并强调在无人监管下信任本地模型仍为时过早。

意义与影响

这篇文章为开发者和企业提供了一个冷静、务实的视角，打破了“本地模型已完全替代云端大模型”的过度乐观叙事。

1. 纠正技术迷思：它揭示了基准测试分数与实际工程能力之间的鸿沟，特别是针对非 Python 生态（如 Go 语言）的开发者，提醒他们不要盲目依赖通用基准。
2. 重新定义本地模型的价值：本地模型的核心优势不仅在于节省 API 费用，更在于数据主权和合规性。在隐私监管日益严格的今天，能够本地部署的模型是企业构建可信 AI 基础设施的关键。
3. 警示量化副作用：作者明确指出，为了在消费级硬件上运行而进行的模型量化会严重损害模型的稳定性（如无限循环）。这提示开发者在部署本地模型时，需要在硬件限制和模型可靠性之间做出谨慎权衡。
4. 商业策略启示：对于 SaaS 和开源软件公司而言，提供本地部署选项不仅是技术选择，更是商业差异化策略。在“克隆成本低廉”的市场环境中，通过本地化服务增强客户粘性和数据安全感，是抵御低价竞争的有效手段。

总之，Local Qwen 不是 Opus 的廉价替代品，而是企业在追求效率、成本和隐私平衡时的一种战略性工具。