谷歌发布Gemma 4：原生多模态开源模型

背景

Gemma 是 Google 推出的开源大语言模型系列，此前已发布 Gemma 1、Gemma 2 等版本，旨在为研究者和开发者提供高性能、可定制的基础模型。随着多模态和推理能力的需求日益增长，Google 于 2026 年 7 月发布了 Gemma 4 Technical Report，介绍了新一代原生多模态语言模型 Gemma 4 的设计与性能。该报告由 arXiv 预印本形式发布，归属于计算机科学 > 计算与语言（cs.CL）类别。

核心内容

Gemma 4 是 Gemma 模型家族中的新一代开源权重、原生多模态语言模型。其设计目标是提升计算效率和推理能力。Gemma 4 模型套件包含两种架构：密集（Dense）架构和混合专家（Mixture-of-Experts, MoE）架构，参数规模从 2.3B 到 31B 不等。

在视觉和音频编码器方面，所有尺寸的模型都配备了改进后的编码器。此外，针对 12B 参数规模的模型，Gemma 4 提出了一种统一的、无编码器（encoder-free）的架构，能够直接处理原始音频和图像块（patches），无需额外的编码器模块。

Gemma 4 还集成了“思考模式”（thinking mode），使模型在回答之前能够生成推理轨迹（reasoning traces），从而增强复杂问题的解决能力。通过关键设计选择，Gemma 4 在推理速度、内存占用、计算效率以及长上下文能力方面均得到了显著提升。

在基准测试中，Gemma 4 在 STEM（科学、技术、工程和数学）、多模态和长上下文任务上取得了性能跃升，并在人工评分的任务中与更大规模的、前沿的开源模型相抗衡。

关键要点

• 模型家族扩展：Gemma 4 提供从 2.3B 到 31B 参数的多种规模，包含密集和 MoE 两种架构，覆盖不同计算资源需求。
• 原生多模态：所有模型均配备改进的视觉和音频编码器，支持多模态输入；12B 模型进一步采用无编码器架构，可直接处理原始音频和图像补丁。
• 思考模式：引入“思考模式”，模型在生成最终回答前先输出推理过程，提升可解释性和推理准确性。
• 效率与能力优化：通过架构创新，提升了推理速度、内存效率、计算效率，并增强了长上下文处理能力。
• 性能领先：在 STEM、多模态和长上下文基准上取得显著进步，在人工评价任务中可与更大规模的开源模型匹敌。

意义与影响

Gemma 4 的技术报告展示了开源权重模型在多模态和推理能力上的最新突破。其关键贡献在于：

1. 降低多模态模型的部署门槛：通过提供多种参数规模和架构选择，以及无编码器的高效设计，使研究者和开发者能够根据任务需求灵活选择模型，同时在资源受限环境中也能部署强大的多模态能力。
2. 推动推理与可解释性：思考模式让模型在回答前显式地生成推理轨迹，不仅提升了复杂问题的解决能力，也增强了模型输出的可追溯性和可信度，对教育、科研等需要严谨推理的领域尤为重要。
3. 挑战更大规模模型的主导地位：Gemma 4 在多项基准测试中与更大规模的开源模型竞争，表明通过精心设计的架构和训练策略，较小的模型也能达到甚至超越更大模型的性能，从而推动计算效率的持续优化。
4. 强化开源生态：作为开源权重模型，Gemma 4 为社区提供了强大的研究平台，有助于加速多模态、推理和长上下文等领域的前沿探索，并可能催生新的应用场景，如多模态对话、智能文档分析、实时音频处理等。

总之，Gemma 4 代表了开源多模态模型在性能与效率上的重要里程碑，有望推动该领域的技术普及和进一步创新。