Inkling发布开源权重模型

背景

发布方是一家致力于构建“延伸人类意志与判断”的AI公司。在推出Inkling之前，该公司已开发了允许任何人定制模型的平台（Tinker），预览了为交互式协作构建的AI系统，并发表了新颖的研究。此次发布的开源权重模型Inkling，是其使命的进一步推进——让用户能够完全拥有并定制模型。

核心内容

Inkling是一个混合专家（Mixture-of-Experts）Transformer模型，总参数量975B，活跃参数41B。它支持高达1M token的上下文窗口，基于45万亿token的文本、图像、音频和视频数据预训练。这是Inkling系列模型中的第一个，同时发布的还有Inkling-Small预览版——一个活跃参数12B的轻量级模型，采用类似训练方案，以更低成本和延迟实现强性能。

Inkling原生支持文本、图像和音频的推理，并通过高效可控的“思考努力”（thinking effort）平衡成本与性能。它被训练为广泛、均衡的基础模型：在多个领域表现强劲，足以灵活适应各类任务。Inkling并非当前最强模型（无论开源或闭源），但以下特质使其成为优秀的开源微调基座：多模态能力、高效思考、以及可在Tinker平台上进行微调。

定制化与自我微调

Inkling已在Tinker平台上开放微调。为了帮助开发者体验模型，Tinker控制台新增了Inkling Playground（面向开发者的聊天界面）。作为演示，用户让Inkling自我微调：模型使用Tinker编写自己的微调作业、运行并评估结果。

能力概览

通用型模型：Inkling被设计为广度优先，在代理、推理、编码、指令遵循、事实性、视觉和音频任务上均衡训练，而非单一领域优化。

代理编码与工具使用：Inkling在多数开源代理基准测试中（如Design Arena）表现优异，无明显短板。它在训练中随机化工具集和模式，以减少对特定工具的敏感度。可控思考努力可在代理框架内设置。

可控思考努力：支持在性能与token效率之间权衡。例如，在Terminal Bench 2.1（代理编码）上，Inkling用不到Nemotron 3 Ultra三分之一的token达到相同性能。在HLE（高级推理）和IFBench（指令遵循）上也有类似曲线。

多模态能力：为支持交互式协作（实时语音和视觉），Inkling原生训练了多模态。音频输入采用离散dMel谱图，图像采用40×40像素的patch经四层hMLP编码，两者通过轻量嵌入层与文本token联合处理。在VoiceBench、MMAU、AudioMC上，它是开源音频模型中的佼佼者。视觉方面，它可描述图像、回答问题、进行深度推理，尤其在图表、图示和数学视觉推理上表现强劲。推理时还可调用Python工具进行缩放、裁剪等操作。

认识论（Epistemics）：Inkling在校准、指令遵循和抵抗审查方面经过训练。它能在不确定问题上表达适当置信度，这对预测和预报任务至关重要。在ForecastBench上，微调后的Inkling表现优于前沿LLM（基于2024年6月30日至7月13日的测试）。

关键要点

• 模型架构：975B总参数，41B活跃参数，MoE Transformer。
• 上下文窗口：1M token。
• 训练数据：45万亿token，涵盖文本、图像、音频和视频。
• 多模态：原生支持文本、图像、音频输入，采用无编码器架构（音频为dMel谱图，图像为hMLP patch编码）。
• 可控思考努力：支持在推理时调整token消耗，以平衡性能与成本/延迟。
• 微调可用性：已在Tinker平台开放微调，并附带Playground供开发者试用。
• 代理能力：在Design Arena等代理编码基准上，表现位列开源模型最强之列；支持自我微调循环。
• 认识论：校准良好，在预报任务上经微调后可超越前沿闭源模型。
• 轻量版本：Inkling-Small（12B活跃参数）预览版同时发布。

意义与影响

Inkling的发布标志着开源权重模型在多模态、可控思考和工具使用方面迈出重要一步。它并非追求绝对性能领先，而是通过可定制性、高效推理和广泛基础能力，为开发者和企业提供更实用的微调基座。其“自我微调”演示展示了AI辅助模型定制的可能性，降低了使用门槛。此外，对校准和抵抗审查的重视，为构建可信赖的AI系统提供了参考。未来，Inkling系列将不断扩展，这一开源生态有望推动更多垂直领域的快速迭代与创新。