A Sovereign, Open-Source Foundation Model for German and English

背景

随着大语言模型（LLM）在各领域的广泛应用，欧洲在 AI 基础设施和模型主权方面的缺失日益凸显。多数主流基础模型由美国或中国机构开发，且训练数据以英语为主导，对德语等欧洲语言的覆盖不足。为了填补这一空白，同时降低对海外算力的依赖，德国电信旗下工业 AI 云（German Industrial AI Cloud）主导训练了 Soofi S 30B-A3B 模型，这是一个针对德语和英语的公开、可控、开源基础模型，旨在为欧洲提供完全自主的 AI 基石。

核心内容

Soofi S 30B-A3B 是一个主权级（Sovereign）、开源的双语（德语与英语）基础模型，采用混合专家（Mixture-of-Experts, MoE）架构，并创新地融合了 Mamba 与 Transformer 两种结构。模型总参数量为 30B，但每个 token 仅激活 3B 参数（即 A3B：Active 3B）。这种设计使得推理缓存（inference cache）在上下文长度增长时几乎保持恒定，从而在处理长上下文、高并发场景下具备显著超越稠密模型的吞吐量优势。

模型在大约 27 万亿 token 上进行了预训练，并有意识地提高了德语数据的权重。在聚合的英语和德语基准测试中，Soofi S 的表现与稠密 14B 至 27B 模型相当；在 17 个开源基础模型中，它在两种语言上均取得了最佳代码聚合得分；同时，在所有比较的欧洲主权基线模型（包括激活参数远超它的模型）中，Soofi S 均表现最优。在所有完全开源的模型中，Soofi S 获得了最高的英语和德语评估分数，超过了 Olmo 3 32B 和 Apertus 70B。

Soofi S 的整个训练流程在德国慕尼黑的德国工业 AI 云（由德国电信运营）上完成，确保了算力的主权可控。模型将以高度许可、开放获取的方式发布，包括：模型权重、选定的中间检查点、完整的数据来源账目、超参数、训练和评估代码。在源代码许可允许的情况下，数据构建制品也将以开放许可方式发布；对于商业授权来源，则提供聚合统计数据和精确的混合账单。

关键要点

• 架构创新：MoE 混合 Mamba-Transformer，30B 总参 / 3B 激活，推理缓存近乎恒定，长上下文高并发吞吐量优势明显。
• 数据规模与特色：预训练约 27 万亿 token，德语数据有意上采样，保证德语性能的同时不牺牲英语能力。
• 性能表现：
  • 聚合英语和德语基准与稠密 14B–27B 模型持平。
  • 在 17 个开源基础模型上，德语和英语代码聚合得分均为最高。
  • 优于所有公开欧洲主权基线（含激活参数更大的模型）。
  • 在完全开源模型中，英语和德语评估总分最高，超越 Olmo 3 32B 和 Apertus 70B。
• 主权与基础设施：在德国电信运营的德国工业 AI 云（德国慕尼黑）上端到端完成训练，算力完全自主可控。
• 开放许可：权重、检查点、数据来源账目、超参数、训练与评估代码均以高度宽松的开源条款发布；数据构建制品在源许可允许下也以开放许可发布；商业授权来源提供详细统计和混合账单。

意义与影响

Soofi S 30B-A3B 的发布标志着欧洲在主权开源基础模型领域迈出了坚实一步。它证明英语-德语双语模型可以在吞吐量和性能上超越同等或更大规模的稠密模型，同时完全依托欧洲本土基础设施训练，无需依赖海外算力。其高度开放的许可策略（包括完整的数据账目和训练工具链）将极大促进学术界和工业界的可重复研究与商业应用。此外，MoE + Mamba-Transformer 混合架构的成功也为未来高效、低成本的长上下文模型设计提供了新范式。这一模型有望成为欧洲 AI 生态的基石，推动更多本土化应用的发展，并吸引更多机构参与主权 AI 基础设施建设。