德国AI联盟发布开源30B模型Soofi S登顶基准测试

背景

2026年7月13日，由德国AI协会（KI Bundesverband）协调的一个德国研究联合体正式发布了开源语言模型 Soofi S 30B-A3B（简称 Soofi S）。该模型拥有300亿总参数量，但采用了混合专家（MoE）架构，每个token仅激活约32亿参数。它是首批完全在德国电信（Deutsche Telekom）慕尼黑工业AI云上训练的大型语言模型之一，训练数据中刻意加大了德语占比。发布后，该模型在英文和德语基准测试中均取得了开源模型中的最高分，超越了此前领先的 OLMo 3 32B 和 Apertus 70B。

然而，7月15日出现了争议：批评者指出Soofi S的训练数据量（约27万亿token）远超经典的Chinchilla缩放定律（约20 token/参数）所建议的最优比例，属于严重的“过度训练”。项目技术负责人对此进行了回应，解释了MoE架构的特殊性。

核心内容

模型架构与长上下文能力

Soofi S是一个混合专家（Mixture of Experts）模型，总参数量316亿，但每个生成token仅激活约32亿参数。其计算成本接近一个3B模型而非传统30B模型。架构直接采用了Nvidia Nemotron 3 Nano的混合设计，结合了Mamba-2层与标准注意力层。

关键差异在于内存行为：传统Transformer的KV缓存随上下文长度线性增长，成为长输入和多并行请求的瓶颈。Soofi S的52层中仅6层维护此类缓存。这使得它在长上下文场景下吞吐量极高：在40,000 token上下文长度、32个并行请求下，Soofi S每GPU每秒生成的token数约为同参数量级（14–24B）稠密模型的8倍。随着上下文从4,000 token增加到256,000 token，其吞吐量几乎持平，而传统模型则显著下降。测量中唯一展现类似行为的是阿里云的Qwen3.5 35B-A3B，它也使用了混合架构。

训练数据与德语侧重

联合体共处理了约27万亿token，分三个阶段：

• 第一阶段：约20万亿token，来自网页、代码、数学和领域特定文本的广泛混合，学习语言基础。
• 第二阶段：约6万亿token，来自更高质量的数据源，精炼模式。
• 第三阶段：在长达100万token的文档上扩展上下文窗口。

德语数据是核心差异化因素。第一阶段德语占7.2%，第二阶段升至15.3%。作为对比，Nvidia的Nemotron参考配方中所有非英语语言合计仅占约5%。数据来源包括HPLT德语网络文本、开源许可的German Commons语料库、FinePDFs和FineWiki的德语部分，以及商业许可的Genios语料库（包含来自916家德国出版物的1.93亿篇报纸文章）。机器翻译和合成生成的德语文本作为补充。

基准表现

在针对16个其他开源模型的评估中，Soofi S在德语和英语的综合得分上领先所有完全开源模型，包括AI2的OLMo 3 32B和ETH Zurich与EPFL的Apertus 70B。在所有欧洲主权基线模型上，该模型在德语基准测试中均领先，有时领先两位数百分点。

• 代码基准：HumanEval 73.8%，MBPP 70.2%，德语版MBPP 84.2%，均为开源模型最佳。
• 德国地域知识测试（INCLUDE-DE）：与更大的Qwen3.5 35B-A3B并列第一（61.2分）。
• 相比Nemotron基线：德语数据配方使语言能力提升15.1分，科学测试GPQA-Diamond提升9.6分，且英文性能未下降。

弱点包括：

• 德语竞赛数学（Minerva MATH-DE）：仅56分，远低于Qwen3.5 35B-A3B（76.5）和Gemma 3 27B（65.6）。
• 开放事实检索（NaturalQuestions）：表现落后，可能因仅3B活跃参数存储的世界知识少于稠密27B模型。
• RULER长上下文测试：在32,000 token以上提取频繁出现单词时，命中率降至约3%，而可比Nemotron模型仍达60-64%。作者归因为长上下文训练数据缺乏专门用于提取任务的合成数据。

基础设施与开源

训练于2026年3月至5月进行，使用慕尼黑德国电信工业AI云上最多512块Nvidia B200 GPU，总计约253,000 GPU小时。该设施完全使用可再生能源，冷却水来自艾斯巴赫运河（Eisbach canal），废热供给周围Tucherpark社区。Soofi S是该基础设施上首批大型训练之一。

模型权重、部分中间检查点以及完整训练报告已开源。

关于过度训练的争议（7月15日更新）

发布后，批评者指出，按照经典Chinchilla缩放定律（2022年由Google DeepMind提出，建议约20 token/参数），Soofi S严重“过度训练”：约27万亿token对300亿参数，比例达数百比一；若仅计算每token激活的32亿参数，比例更达数千比一。

项目技术负责人Michael Fromm反驳称，这些规则不能直接套用到MoE架构上。“已有新研究表明旧的稠密模型缩放定律不再适用于MoE架构。”原因在于MoE模型的构建方式：单个专家受益于看到相同文档，因此在大规模高质量数据集中重复数据的问题比稠密模型小得多。作为对照，Fromm指出Nvidia自己的模型曾在多达25万亿token上训练。

关键要点

• 模型参数：总参数量316亿，每token激活约32亿参数，计算成本接近3B稠密模型。
• 架构：混合MoE，采用Nvidia Nemotron 3 Nano设计（Mamba-2 + 注意力层），仅6层维护KV缓存，长上下文吞吐量几乎不衰减。
• 训练数据：共约27万亿token，分三阶段训练。德语数据占比从第一阶段7.2%增至第二阶段15.3%，远高于Nemotron参考配方的5%。
• 数据来源：包含HPLT、German Commons、FinePDFs、FineWiki、Genios语料库（1.93亿篇报纸）以及机器翻译和合成文本。
• 基准表现：在所有完全开源模型中，英语和德语综合得分最高，代码基准领先；在德国地域知识测试中与Qwen3.5 35B-A3B并列第一。
• 弱项：德语竞赛数学、开放事实检索（NaturalQuestions）以及长上下文高频词提取任务（RULER）表现不佳。
• 基础设施：在德国电信慕尼黑工业AI云上训练，使用512块Nvidia B200 GPU，总计253,000 GPU小时，100%可再生能源，水冷散热。
• 争议：训练数据量远超Chinchilla缩放定律建议比例（27T token vs 30B参数），技术负责人以MoE架构特性辩护，并援引Nvidia类似做法（25T token）。
• 开源程度：发布模型权重、中间检查点及完整训练报告。
• 联合体成员：德国AI协会协调，参与者包括Fraunhofer IAIS/IIS、DFKI、达姆施塔特工业大学、维尔茨堡大学、L3S研究中心、柏林应用技术大学，以及AI公司Ellamind和Merantix Momentum。项目由德国联邦经济事务和能源部资助，属于欧洲IPCEI-CIS计划的一部分。

意义与影响

Soofi S的发布标志着欧洲在开源大模型领域迈出重要一步。它的意义在于：

1. 主权AI基础设施：完全在德国本土的云基础设施上训练，使用可再生能源，符合欧洲对数据主权和可持续性的追求。该模型作为欧洲主权AI模型家族的开端，为工业应用提供了可验证的自主方案。

2. 混合架构的验证：Soofi S证明了Mamba-2+注意力的混合MoE架构在长上下文场景下的吞吐量优势，同时通过刻意增加德语数据比例，在不牺牲英文性能的前提下大幅提升德语能力。这对其他希望构建多语言或低资源语言模型的团队有借鉴意义。

3. 开源透明与争议：