Murati新公司Thinking Machines发布975B开源大模型

背景

由前 OpenAI CTO Mira Murati 创立的 Thinking Machines 公司正式发布了其首个大型语言模型 Inkling。该模型采用开放权重（open-weights）授权，允许开发者自由修改和微调。这一举措延续了当前 AI 领域对开源模型的重视，尤其在参数量达到 975B 的 MoE（Mixture of Experts）架构下，Inkling 为社区提供了一个兼顾性能与可控性的新选择。

核心内容

Inkling 是一款面向文本、图像和音频输入的高效开放模型，可直接用于微调。模型概览如下：

• 参数规模：总参数量 975B，但通过 MoE 架构仅激活 41B 参数，兼顾了能力与推理效率。
• 架构：Mixture of Experts（混合专家）。
• 上下文窗口：原生支持 100 万 token（1M tokens），在 Thinking Machines 的训练平台 Tinker 上可扩展至 64K 或 256K token（具体取决于配置）。
• 输入模态：原生支持文本、图像、音频，属于多模态模型。
• 通用智能：在知识、数学、科学等基准测试中表现均衡，作为通才模型适用广泛。
• 代理编码与工具使用：能够编写代码并调用工具完成实际任务。
• 音频与图像输入：原生多模态输入，且在语音能力上处于开源模型前沿。
• 可控努力：可调节推理时的思考时间，以在速度与效果之间取得平衡。
• 预测与置信度：能输出经过良好校准的置信度估计，辅助决策。
• 指令遵循：可靠地处理详细、多步骤的指令。
• 可定制：用户可在 Tinker 训练平台上对 Inkling 进行领域微调，以适应特定场景。

关键要点

• 开放权重：模型权重完全开放，允许用户进行修改、微调和商用部署。
• 超大参数 + 高效激活：975B 总参数仅激活 41B，兼顾模型容量与推理速度。
• 长上下文原生支持：原生 1M token 上下文窗口，在 Tinker 上可进一步调整至 256K。
• 多模态输入：同时支持文本、图像、音频，无需额外模型拼接。
• 可控推理：可调节思维时间，适用于对延迟敏感或对精度要求高的不同场景。
• 内置工具使用与编码能力：模型本身具备代理（agent）能力，可编写代码并调用工具。
• 置信度校准：输出概率估计，并经过校准，可用于需要不确定性量化的应用。
• 可定制训练平台：Tinker 平台提供微调能力，降低垂直领域适配门槛。

意义与影响

Inkling 的发布标志着开源大模型在参数量级上迈入近千亿级别的新阶段，同时保持了激活参数的轻量级。MoE 架构在平衡计算成本与模型能力方面提供了实践案例，1M token 的长上下文能力也为文档分析、长序列推理等场景提供了强大支持。开放权重的策略与 Tinker 训练平台的结合，使企业级用户和研究者能够低成本地获得一个多模态基础模型，并针对特定任务进行深度定制。这一举措可能加速 AI 在代码生成、多模态理解、可解释性 AI 等领域的创新，并推动开源生态与商业应用之间的进一步融合。