首款手机可运行的27B参数大模型Bonsai 27B亮相

背景

随着大语言模型在推理、工具调用和多模态理解等能力上的快速提升，行业对模型部署的灵活性也提出了更高要求。传统的云端 API 虽然功能强大，但面对持续的智能体工作流（Agentic Workloads）时，每次步骤都涉及远程请求、累积的 token 成本以及用户隐私数据在网络上的传输，这些限制催生了对本地高效部署的强烈需求。

此前，将参数规模达到 27B 的模型部署到手机等消费级设备上几乎是不可能的：一个 27B 模型在 16-bit 精度下占用约 54GB，即使在常见的 4-bit 量化下也需要约 18GB，远超手机和大多数笔记本电脑的内存预算。然而，Bonsai 团队在低比特模型压缩领域持续探索，此前已验证了 1-bit 和三值权重可以在商业上产出有用的语言模型。如今，他们发布了 Bonsai 27B，首次将 27B 级别的模型装入手机。

核心内容

Bonsai 27B 是基于 Qwen3.6 27B 的多模态旗舰模型，属于 Bonsai 系列。它采用了极低比特权重表示，使得模型能够在极端紧凑的内存占用下运行，同时保留了大部分全精度模型的智能水平。该模型提供两个变体：

• Ternary Bonsai 27B：使用三值权重 {−1, 0, +1} 配合 FP16 分组缩放，有效比特数约为 1.71 比特/参数。模型大小约 5.9 GB，是重视质量的变体，可在普通笔记本电脑上运行，具备完整的推理、工具调用和智能体能力。
• 1-bit Bonsai 27B：使用二进制权重 {−1, +1} 配合相同的分组缩放，有效比特数约为 1.125 比特/参数。模型大小约 3.9 GB，是注重占用空间的变体，可以装入 iPhone 17 Pro 的内存预算中，首次将 27B 级别模型带到手机上。

与之前的所有 Bonsai 版本一样，低比特表示贯穿整个语言网络（包括嵌入层、注意力机制、MLP 和语言模型头部），没有使用更高精度的“逃生口”。两个变体都是多模态的，视觉塔以紧凑的 4-bit 形式提供，使得设备端工作流不仅可以处理文本，还能处理截图、文档和摄像头输入。Bonsai 27B 支持完整的 262K token 上下文，并支持推测解码（Speculative Decoding），通过无损的草稿-验证加速实现更快的速度。所有模型权重均以 Apache 2.0 许可证开放。

在智能保留方面，Bonsai 27B 在 15 个基准测试集上（涵盖知识、推理、数学、编码、指令遵循、工具调用和视觉，并在思考模式——即模型执行完整推理——下评估）的表现如下：Ternary 变体保留了全精度基线的 95%，1-bit 变体保留了 90%。具体来看，数学和编码能力几乎未受影响，工具调用能力与全精度相差仅几个百分点——这些正是智能体工作负载所依赖的关键能力。作为对比，同一基模型上最激进的常规低比特构建版本，在占用 2.5 倍内存的情况下，得分仍显著低于 1-bit Bonsai 27B。

Bonsai 27B 实现了此前在 8B 级别展示的帕累托前沿迁移：在比全精度 2B 模型更小的占用空间内，提供 27B 级别的能力。按智能密度（Intelligence Density，即每 GB 智能评分）衡量，1-bit Bonsai 27B 每 GB 贡献 0.53 分，是全精度基线的 10 倍以上，大约是现有最佳低比特替代方案的 2.7 倍。

在推理性能上，Bonsai 27B 在 NVIDIA GeForce RTX 5090 上达到：1-bit 变体最高 163 tok/s，Ternary 变体最高 134 tok/s。在 M5 Max 上，1-bit 变体最高 87 tok/s，Ternary 变体最高 58 tok/s。

关于手机的适配：手机的内存对应用并非完全开放——一部 12GB 的 iPhone 大约有 6GB 可供模型使用，而模型需要与 KV 缓存和激活值共享这个预算。1-bit Bonsai 27B 约 4GB 的占用，使其成为第一个能够通过这个门限并留有余量的 27B 模型。这正是该系列提供两个精确设定运行点的原因：Ternary 面向笔记本级别质量，1-bit 面向手机级别占用。

Bonsai 27B 原生支持 Apple 设备（Mac, iPhone, iPad）上的 MLX 框架，以及 NVIDIA GPU 上的 CUDA 框架，通过为混合注意力架构定制的低比特内核实现。项目来自 PrismML，由 Caltech 研究人员团队创立，得到 Khosla Ventures、Cerberus、Google 和 Samsung 的支持。

关键要点

• 首次实现手机端运行 27B 级模型：1-bit Bonsai 27B 仅 3.9 GB，是第一个能够装入 iPhone 17 Pro 类内存预算的 27B 参数模型，同时保持完整的推理和工具调用能力。
• 两种变体满足不同部署场景：Ternary（5.9 GB）面向笔记本电脑级质量，保留 95% 全精度性能；1-bit（3.9 GB）面向手机级占用，保留 90% 全精度性能。
• 智能密度大幅领先：1-bit 变体的智能密度（每 GB 智能评分）是全精度基线的 10 倍以上，是现有最佳低比特方案的 2.7 倍，实现了帕累托前沿的左移。
• 支持多模态与完整上下文：模型可处理截图、文档和摄像头输入，并支持 262K token 上下文，具备推测解码加速能力。
• 关键能力几乎未受损：数学、编码和工具调用能力与全精度模型非常接近，这些正是智能体工作流所需的核心能力。
• 开源并提供免费 API：模型权重以 Apache 2.0 许可证开放，同时提供限时免费的开发者预览 API。
• 本机部署改变智能体经济学：当具备持续工作能力的模型能装在设备上时，智能体可以内置在产品中，百步循环的边缘成本为零，用户数据从不离开设备。
• 支持跨平台和混合架构：通过 MLX 支持 Apple 设备，通过 CUDA 支持 NVIDIA GPU。还可用于混合部署：将非前沿和隐私敏感任务路由到本地模型，仅将最难的步骤留给云端前沿模型。

意义与影响

Bonsai 27B 的发布标志着 AI 部署范式的一次重要跃迁。最富价值的 AI 工作负载正从单次响应转向持续工作——智能体需要执行数百次模型调用，每次携带上下文、产生结构化输出并供给下一步。云端 API 虽仍适用于许多场景，但纯云执行带来结构性约束：每次步骤都是远程请求、逐 token 成本随迭代累积、用户的私有文件、屏幕和数据都需要通过网络传输。

本地执行改变了这一等式。当具备持续智能体工作能力的模型能够装入设备时，智能体可以真正“住进”产品内部：百步循环的边际成本为零，用户数据从不离开机器。这打开了全新的品类：持久的设备端智能体、离线工作的助手、天然地基于私有本地数据进行推理的助手。此前，业界缺少一个足够小到能以这种方式部署、又足够强大到值得信赖的模型——Bonsai 27B 正是这个模型。

它还解锁了新的系统架构：混合部署。将非前沿和隐私敏感任务路由到强大的本地模型，而将最难的步骤保留给云端前沿模型，从而大幅降低智能体系统的每任务成本。

从更宏观的角度看，Bonsai 团队提出的“智能密度”将成为 AI 进步的下一个核心轴线之一。原始能力决定模型能做什么，密度决定它能在哪里做。每次前沿向左移动，都扩大了先进 AI 可以运行的设备、产品和环境集合，并改变了从手机到单 GPU 伺服的所有部署表面的经济学。Bonsai 的压缩方法论与架构无关，这意味着这个前沿将继续移动——更大规模的模型和全新的架构已经在研发中。

如同早期计算机占据整个房间，如今