Kimi发布K3模型，开放前沿智能

背景

Kimi 系列模型由 Moonshot AI 开发，长期致力于推动开放模型规模的扩展。在过去十二个月中，有九个月，Kimi 模型都保持着开放模型参数量的最高记录。Kimi 此前已发布多代模型（如 Kimi K2），在长上下文、多模态和智能体能力上持续迭代。随着大模型行业进入“规模法则”的深化阶段，开放模型与闭源模型之间的差距成为关注焦点。Kimi K3 的发布标志着开放模型首次进入 3T 参数量级，试图在前沿智能领域与顶级闭源模型展开竞争。

核心内容

今日，Kimi 正式发布其最强模型 Kimi K3。Kimi K3 是一个拥有 2.8 万亿参数的模型，基于全新的 Kimi Delta Attention（KDA）和 Attention Residuals（AttnRes）架构，原生支持视觉能力，上下文窗口达 100 万 token。它是全球首个开放的 3T 级模型，专为长期编程、知识工作和推理等前沿智能任务设计。

尽管综合性能仍落后于最强闭源模型 Claude Fable 5 和 GPT 5.6 Sol，但在 Kimi 的评估套件中，Kimi K3 表现出前沿级水平，显著优于其他被测试的开放模型。

Kimi K3 即日起在 Kimi.com、Kimi Work、Kimi Code 以及 Kimi API 上线。发布时默认使用最大思考努力（max thinking effort）模式，后续更新将引入低效率和高效率模式。目前团队正与推理合作伙伴和开源维护者紧密协作，对齐技术细节，确保生态系统的可靠落地。完整模型权重将于 2026 年 7 月 27 日之前发布。有关架构、训练和评估的更多细节将随 Kimi K3 技术报告一同发布。

开放的 3T 级模型

Kimi K3 是首个参数量达到 2.8 万亿的开放模型。它基于两种架构创新构建：Kimi Delta Attention（KDA）和 Attention Residuals（AttnRes），旨在改善信息在序列长度和模型深度上的流动。同时，团队扩展了混合专家模型（MoE）的稀疏度，在 Stable LatentMoE 框架下，从 896 个专家中激活 16 个。结合改进的训练和数据配方，这些结构性变化使得整体扩展效率相比 Kimi K2 提升约 2.5 倍，让模型更高效地将算力转化为智能。

编程能力

Kimi K3 拥有强大的长期编程能力。在最小人工监督下，它可以维持长时间工程会话，导航大型代码仓库，并编排终端工具。

Kimi K3 在融合软件工程与视觉推理的任务中表现尤为出色——它利用截图和视觉信息来优化游戏开发、前端 UI 和 CAD 设计。

以下案例展示了 Kimi K3 的编程能力如何转化为开放式软件创作和科学研究。

内核优化：团队测试了模型优化 GPU kernel 的能力。每个模型在相同沙盒中独立工作，最多 24 小时，对包括 AttnRes、KDA 和一个 512 头维度 MLA kernel 在内的四个任务，在 NVIDIA H200 和另一供应商的 GPGPU 上进行性能分析、重写和基准测试。Kimi K3 的表现与 Fable 5（含回退行为）相当，并显著优于 Opus 4.8、GPT 5.6 Sol 和 GPT 5.5。在 Kimi K3 开发后期，早期版本的 Kimi K3 承担了团队大部分的内核优化工作。

GPU 编译器开发：团队进一步测试了 Kimi K3 能否从头构建 GPU 编程系统。Kimi K3 开发了 MiniTriton——一个紧凑的、类似 Triton 的编译器，拥有基于 MLIR 的自定义 tile 级 IR 层、优化 pass 以及 PTX 代码生成流水线。在支持的 roofline 基准测试中，MiniTriton 的性能与 Triton 和 torch.compile 相当或更优，在某些工作负载上超过 Triton。除了微基准测试，MiniTriton 还可以端到端地维持 nanoGPT 训练，损失曲线与参考曲线高度接近，仅有微小偏差——验证了完整流水线在实际工作负载上的有效性。这些结果表明，Kimi K3 可以构建一个连贯的端到端编译器——从 DSL 前端、IR pass 到 PTX 代码生成和运行时——而非孤立的 kernel；其从头实现的 Tensor Core 路径已可与 Triton 高度优化的堆栈相媲美。

游戏开发与数字创作：Kimi K3 结合了强大的 3D 推理、编码和视觉能力，可以将概念、图像和视频转化为可玩的交互式体验。Kimi K3 通过无缝迭代代码和实时截图，实现了真正的“视觉闭环”——即时查看并优化输出。

芯片设计：作为早期概念验证，Kimi K3 设计了一款芯片，用于运行基于其自身架构构建的小型模型。在单次 48 小时自主运行中，K3 使用开源 EDA 工具在 Nangate 45nm 库上构建、优化并验证了该芯片。在 4 mm² 面积内，芯片在 100 MHz 下闭合时序，模拟中维持了超过 8,700 tokens/s 的解码吞吐量，集成了 146 万个标准单元、0.277 MB SRAM 以及一个带融合反量化的 INT4 MAC 阵列。由模型为模型构建的芯片，体现了 K3 的长期智能体能力。

科研编程：Kimi K3 连接科学文献与可执行代码，自主实现、验证和分析复杂的计算研究工作流。在一个案例中，Kimi K3 在约两小时内完成了通常需要经验丰富的研究人员一到两周的工作：为复现计算天体物理学中的 I–Love–Q 普适关系，它审阅并交叉验证了 20 多篇论文，实现了完整的数值流水线，评估了 300 多种状态方程，识别了已发表公式中的不一致性，生成了 3,000 多行 Python 代码，并制作了一个交互式 HTML 仪表板来探索结果。

知识工作

Kimi K3 推动了端到端知识工作的进步。除了公开基准测试，Kimi K3（max 模式）在内部评估中持续展示出优势，这些评估源自实际用户-智能体工作流中反复出现的模式和挑战。在不同面向生产的流程中，这种持续的优势反映了 Kimi K3 在智能体知识工作能力上的广泛提升。

研究与交互式可视化：以下是在 Kimi Work 中 Kimi K3 在金融咨询和科学研究中的一些产出示例：

• 案例1：交互式 42 年 AI ASIC 行业研究网站——经过 120 多轮递归自我改进创建，包含自定义图表、动画和交互式视觉叙事，通过 2,800 多次网络搜索/抓取和 1,100 多次终端数据拉取，涵盖 87 份季度报告和 99 份原始 PDF，共 11,000 多页。
• 案例2：聚变行业研究——包含交互式可视化（时间线、漏斗图、范围条形图、甘特图）和出版质量的幻灯片。
• 案例3：GWTC-5 引力波分析——使用 20 多个并发子智能体分析 391 个引力波事件，生成 7 个科学可视化、2 个表格和 10 多篇论文的文献综合。
• Kimi K3 还特别擅长制作信息图风格的演示，例如可编辑热力图和年报。

Widgets 与 Dashboard：在 Kimi Work 中，团队推出了两个新功能——Widgets 和 Dashboard——使与 Kimi K3 的交互更加可视化和持久化。Widgets 允许用户在聊天中直接生成交互式组件，并可连接本地数据或外部插件以持续更新。Dashboard 将用户最关心的 Widgets 整合到一个围绕主题、项目或目标组织的持久个性化视图中。

视频编辑

Kimi K3 在运动设计、动画和视频编辑方面表现突出，因为它原生的多模态能力使其能够理解和处理视频帧序列，进行智能编辑和生成。

注：原文最后一部分关于视频编辑的“native multimodal arch”似乎