Thinking Machines 推出 Inkling

背景

2025 年 3 月，Thinking Machines 公司正式在 Hugging Face 上发布了开源多模态大语言模型 Inkling。该模型是迄今为止参数量最大、上下文窗口最长的开放模型之一，原生支持图像、音频和文本输入，并具备智能体（agentic）能力。Inkling 的发布标志着开源多模态大模型在规模、模态覆盖和推理效率上迈出重要一步，其配套的 transformers、SGLang、llama.cpp 等推理框架均在发布当日（day-0）提供支持。

核心内容

Inkling 是一个 decoder-only 的多模态混合专家（Mixture-of-Experts, MoE） 模型。模型总参数量约为 975B，但每次推理仅激活 41B 参数（即活跃参数），这使得在大规模部署时仍能保持相对高效的推理。模型拥有 256 个专家（experts）。

在模态处理上，Inkling 原生接受文本、图像和音频输入，并经过 45 万亿 token（包括文本、图像、音频和视频）的训练。模型特别强调跨模态推理能力（如结合图像和文本进行问答、结合音频和文本进行理解），并支持通过微调（fine-tuning）进行领域适配。

架构细节

1. 相对注意力（Relative Attention）：与大多数 Transformer 模型使用 RoPE（旋转位置编码）不同，Inkling 学习了一种相对位置编码方法。每个注意力层都有一个额外的投影，生成每个 token、每个头的相对特征 R。该张量通过距离信息（key 和 query 向量之间的距离）进行修正，并传入注意力模块。
2. 混合注意力（Hybrid Attention）：解码器层交替使用全局注意力（attending to full context）和滑动窗口注意力（sliding window attention）。具体模式为 5 层滑动窗口注意力后跟 1 层全局注意力（5:1 比例）。这种混合策略在计算效率上进行了优化，最后一层使用全局注意力以构建特征丰富的表示。
3. 短卷积（SConv）：在隐藏状态上使用了独特的 1D 短卷积（short convolution），读取当前 token 和前 W-1 个隐藏状态（W 为滑动窗口大小）。SConv 有助于局部注意力建模，同时减轻注意力模块和 MoE 层对局部表示的负担。
4. MoE 与共享专家 sink：路由器同时对路由专家（routed experts）和共享专家（shared experts）进行打分。每个 token 从 256 个专家中选择 top-6 路由专家，此外还有 2 个共享专家始终被激活。
5. 视觉理解：采用简单层次化 MLP 的 patchifier（hMLP），由多个线性层组成，逐步合并像素，最终每个 patch 生成一个 embedding。
6. 音频理解：使用离散化的梅尔频谱图（mel spectrogram），每 100ms 的音频片段被转换到梅尔尺度，然后分类到精确的梅尔频谱图 bin 中。音频 embedding 通过音频编码塔直接生成，无需单独的外部编码器。
7. 多模态塔：与其他模型（如使用独立编码器处理不同模态）不同，Inkling 的多模态塔（图像塔和音频塔）相对简单。图像输入还包含额外的 temporal dimension 用于视频处理（但官方尚未评估现成的视频性能）。

推理支持

Inkling 提供 BF16 和 NVFP4 两种检查点格式。BF16 版本需要约 2TB VRAM，NVFP4 版本需要约 600GB VRAM。NVFP4 是一种经过良好校准的 4-bit 浮点量化格式，专门为 Blackwell 架构的 NVIDIA GPU 设计（但 BF16 版本可在 Hopper 及更新 GPU 上运行）。

推理框架方面，transformers 5.14.0 提供了 any-to-any pipeline 和 AutoModelForMultimodalLM + AutoProcessor 两种使用方式。支持通过 reasoning_effort 参数控制推理深度（可选值：none、minimal、low、medium、high、xhigh、max）。SGLang 和 vLLM 也提供 day-0 支持。llama.cpp 支持 GGML 量化用于本地部署。

代码示例展示了文本+图像推理和音频推理的基本流程，用户可以像使用普通 LLM 一样传入多模态消息（包含 image 和 audio 类型的 content），模型自动生成文本回复。音频推理时需指定音频 input_features 并通过 processor 处理。

关键要点

• Inkling 是首个参数量接近 1T（975B）、上下文窗口达 1M 的原生多模态开源大模型，同时支持图像、音频、文本输入。
• 采用 MoE 架构，256 个专家，每次推理仅激活 41B 参数，兼顾规模与效率。
• 架构创新包括相对注意力（替代 RoPE）、混合注意力（滑动窗口与全局交替 5:1）、短卷积 SConv 增强局部建模、共享专家 sink 机制。
• 多模态处理无需独立编码器，图像使用 hMLP patchifier，音频使用离散梅尔频谱图 embedding。
• 提供 BF16 和 NVFP4 两种优化版本，NVFP4 在 Blackwell GPU 上仅需 600GB VRAM（BF16 需 2TB）。
• 支持推理 effort 控制，从 none 到 max 共 7 档，灵活调整推理计算量。
• 发布当日获得 transformers、SGLang、vLLM、llama.cpp 等主流框架的支持，具有优秀的生态系统兼容性。
• 训练数据规模达 45 万亿 token，涵盖文本、图像、音频和视频（视频能力尚未正式评估但架构已预留）。
• 可通过简单的 any-to-any pipeline 或 AutoModelForMultimodalLM 实现多模态推理，代码示例清晰。

意义与影响

Inkling 的发布对开源多模态大模型领域具有里程碑意义。首先，它证明了接近 1T 参数级别的模型可以以开放的方式发布，并且通过 NVFP4 量化等优化技术，使得在消费级或企业级 GPU 集群上部署成为可能。第二，其原生多模态设计（而非拼接独立编码器）为未来统一的视觉-语言-音频模型提供了技术路线参考。第三，1M 上下文窗口的大规模应用，使得多轮对话、长文档理解、长音频分析等场景更易落地。第四，共享专家和混合注意力等架构创新，为后续模型的高效推理设计提供了新思路。最后，Inkling 以 Apache 2.0 开源许可发布（原文未明确但通常如此），鼓励社区进行微调、领域适配与二次开发，有望催生一批基于多模态推理的 AI 应用。其 day-0 的生态支持也表明主流推理引擎厂商对其前景的高度认可。