十款本地部署大模型横评：Gemma-4-31B登顶

背景

在本地部署大语言模型（LLM）日益普及的当下，用户面临着众多开源模型及其衍生版本的选择困难。为了在有限的硬件资源下找到性能最优的模型，LINUX DO · AI 社区进行了一项针对十三个主流本地部署模型的横向对比测评。

本次测试旨在评估模型在逻辑推理、代码生成、响应速度及运行稳定性四个维度的综合表现。测试环境基于高性能个人工作站，配置为 NVIDIA GeForce RTX 4090 显卡、64GB DDR5 内存及 Intel Core i9-13900K CPU，所有模型均采用 Q4_K_M 量化版本，以确保对比的公平性与实际落地场景的一致性。

核心内容

本次评测涵盖了 Gemma-4、Qwen3.6、Qwen3.5 及 SuperGemma4 等多个系列的模型，包括未经审查（Uncensored）、蒸馏推理（Reasoning Distilled）及投机解码（MTP）等不同技术路线的版本。

1. 测试方法与评分体系 测试采用统一的参数设置（temperature: 0.1, top_p: 1.0），并通过 run_eval.py 脚本执行。测试集包含 GSM8K（20题）、BBH（20题）、HumanEval+（10题）和 MBPP+（10题）。评分逻辑如下：

• 逻辑分：(GSM8K + BBH) / 2
• 代码分：(HumanEval+ + MBPP+) / 2
• 总分：(逻辑分 + 代码分) / 2 此外，还记录了平均时延和执行失败率，以反映模型的实时响应能力和稳定性。

2. 总体排名与表现

• 冠军：Gemma-4-31B-IT-Uncensored 以 0.9750 的总分断层登顶。该模型在逻辑推理（GSM8K 0.95, BBH 0.95）和代码生成（双满分 1.00）上均表现出色，且执行失败率为 0，稳定性极佳。虽然平均时延为 17.64s 并非最快，但其综合实力的均衡性使其成为当前最值得推荐的全能型首选。
• 亚军：QwOpus3.6-27B 总分 0.9500，独占第二。其亮点在于 BBH 得分达到 0.85（较前次评测大幅提升），且代码能力满分。它是唯一同时满足「代码满分 + BBH ≥ 0.85」的模型，是综合实力最接近冠军的模型。
• 并列第三梯队：Qwen3.6-27B-Neo-Code, Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-v2, Qwen3.6-27B-MTP 这三个模型总分均为 0.9250。
  • Qwen3.6-27B-Neo-Code：逻辑与代码双强，但速度偏慢（101.76s）。
  • Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-v2：数学推理（GSM8K 满分）和代码能力极强，但复杂逻辑（BBH 0.70）相对较弱。
  • Qwen3.6-27B-MTP：作为新模型，首测即表现优异。相比原生版，MTP（投机解码）版本牺牲了部分逻辑能力（BBH 从 0.95 降至 0.80），但实现了代码满分、速度提升 44%（时延从 149.94s 降至 84.37s）以及零失败率。

3. 其他模型表现

• 速度之王：SuperGemma4-26B-Uncensored 平均时延仅 4.90s，是所有模型中响应最快的。虽然总分 0.9125 并列第六，但在极度看重响应速度的场景下是首选。
• 逻辑强但速度慢：Qwen3.6-27B（原生版） 逻辑推理极强（0.950），但代码能力相对较弱（0.85），且执行失败率高达 0.15，平均时延最长（149.94s）。
• 其他模型 SuperGemma4-26B-Abliterated-Multimodal 表现最差，总分 0.6125，执行失败率高达 0.50，代码能力严重不足。

关键要点

• 全能型首选：Gemma-4-31B-IT-Uncensored 凭借均衡的高分（逻辑0.95，代码1.0）和零失败率，成为当前本地部署的综合最优解。
• 推理与代码平衡：QwOpus3.6-27B 在保持代码满分的同时，BBH 逻辑得分高达 0.85，是仅次于冠军的强力竞争者，特别适合需要高难度逻辑推理的场景。
• MTP 技术的收益与代价：Qwen3.6-27B-MTP 通过投机解码技术，成功将代码能力提升至满分，并将响应速度提升 44%，但代价是复杂逻辑推理能力（BBH）有所下降。适合对代码生成和速度有极高要求，而对极难逻辑题容忍度稍高的用户。
• 速度优先策略：若应用场景对实时性要求极高，SuperGemma4-26B-Uncensored 以 4.90s 的平均时延提供极具竞争力的性能，是速度敏感型场景的最佳选择。
• 特定场景优化：
  • 数学推理首选：Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-v2（GSM8K 满分）。
  • 纯代码生成：Qwen3.6-27B-Neo-Code 或 Qwen3.6-27B-MTP 均能提供满分代码支持。
• 避坑指南：SuperGemma4-26B-Abliterated-Multimodal 表现极不稳定且代码能力薄弱，不建议在当前测试条件下使用。

意义与影响

本次横向测评揭示了本地部署模型在不同技术路线下的性能权衡。对于普通用户而言，Gemma-4-31B-IT-Uncensored 提供了无需妥协的最佳体验；对于开发者而言，Qwen3.6-27B-MTP 展示了投机解码技术在提升代码生成效率和响应速度方面的巨大潜力，尽管它需要以一定的逻辑推理精度为交换。

此外，测试强调了量化版本（Q4_K_M）在消费级硬件（如 RTX 4090）上的可行性，证明了在合理选择模型和参数的前提下，本地部署模型完全能够胜任复杂的逻辑推理和代码生成任务，为 AI 应用的私有化部署提供了重要的数据支持和选型参考。