小型AI模型在弱网地区受青睐

背景

2019年的一天早晨，Adebayo Alonge在开普敦的一家酒店房间里准备演示他创立的初创公司为非洲医疗健康领域一个严重问题提供的AI解决方案：假药。假药每年导致非洲大陆成千上万人死亡。他的设备RxScanner是一款手持光谱仪，用红外光扫描药片，然后将药物的分子特征发送给配备药品数据库的AI模型。几秒钟内，AI就能根据分子特征识别出药物——或者报告它是假药。当时，药店已经在加纳、肯尼亚、缅甸以及Alonge的祖国尼日利亚等十多个国家使用这套系统。但那天早晨在南非，系统失灵了。“我很震惊，”Alonge说。光谱仪连接上了AI模型，但数据中心在1.4万公里之外，且带宽有限。“我们的服务器在美国，仅仅获取一次扫描结果就花了5分多钟。”于是Alonge立即要求工程师将AI模型缩小成一个更小、低功耗、无需联网的版本，完全运行在他的安卓手机上。两小时后他们完成了，演示得以挽救。更重要的是，这项工作催生了设备的新版本，能在没有宽带、没有电脑、甚至没有稳定电力的地方验证药片真伪，也让Alonge成为这种“小型AI”的倡导者。

核心内容

小型AI与富裕国家庞大的大语言模型（LLM）、超大规模数据中心、数十亿美元投资以及关于AI意识的争论相去甚远。但对于全球数百万人来说，唯一重要且唯一可用的AI往往是小型AI。（世界银行2024年11月的报告显示，全球最贫困国家中只有0.7%的互联网用户使用过ChatGPT，而在最发达国家这一比例为四分之一。）世界银行行长Ajay Banga在2024年1月达沃斯世界经济论坛上表示：“大多数人都在讨论LLM/生成式AI，但这需要大量算力、电力、海量数据和熟练人员来管理。除了发达国家以及印度、中国，很少有国家具备这些条件。” 相比之下，Banga说，小型AI可以在缺乏这些条件的地区提供有用甚至拯救生命的服务。

在印度，政府AI计划呼吁更多发展小型AI，许多这样的系统正在为农民服务。例如，印度Vellore理工学院Bala Murugan及其同事开发了一种基于无人机的系统：拍摄腰果树照片并快速识别出有斑点暗示病害的植株。所有处理都在无人机上完成，无需现场电脑，也无需连接中央服务器。使用针对特定问题训练的小型语言模型，有时在廉价低功耗设备上运行，其他小型AI实现已被开发出来，用于识别乌拉圭葡萄园的蚂蚁 infestation、在多个国家检测携带疟疾的蚊子，以及在巴西部分缺乏复杂设备的地区通过Arduino设备运行心电图。巴西Itajubá联邦大学工程与信息系统研究所教授Marcelo José Rovai参与了这三个项目，他说：“这是目前AI最重要的领域，它增长非常快。”

对于Alonge、Rovai和其他倡导者来说，小型AI不仅仅是世界银行报告所称的“一个有前途的趋势”。从长远来看，它可能是影响最多人生活的AI形式，并且在一些巨型模型对大多数用户来说过于昂贵之后仍能保持可持续性。Alonge说：“我认为AI的未来不是一个位于中心的巨型模型，而是数百万个部署在边缘的小型、精确的模型，每个解决一个特定问题、一个特定情境。”部分原因是，很大一部分人类——包括富裕国家和发展中国家的部分地区——无法使用前沿模型。但他说，另一个原因是这些模型不可持续。“如果没有人补贴，大多数人都负担不起这些模型。所以被称为小型AI开发者的人，必须为世界上大多数人构建解决方案。”

小型AI没有严格定义，但人们通常用它来描述最多几十亿参数的语言模型（对比前沿模型可能超过1万亿参数）。这足够小，可以直接在手机或Raspberry Pi上运行，从而让这些应用无需连接数据中心、仅使用几瓦功率（通常由电池或太阳能板供电）。Rovai说，尽管体积小，但小型AI的技术与巨型AI模型没有根本区别。许多小型语言模型是通过“剪枝”（移除不参与任务的参数）大模型而创建的——就像Alonge的药物扫描仪的手机版本那样。结果是一个在泛化能力上较弱、但在剪枝目标任务上依然非常出色的系统。其他小型模型通过“蒸馏”创建：训练它们模仿大模型，直到其性能接近“教师”模型。还有一些情况下，降低大模型的精度，例如将32位架构上运行的模型改为8位设计。如果机器学习应用用于分类数据或预测模式（如蚂蚁 infestation），则从一开始就在小设备上训练，完全不源自大模型。

运行所有这些小型专用系统正变得越来越容易，Rovai说，原因有两个。第一，硬件越来越好，能力更强而功耗更低。这意味着越来越多的手机可以运行小型AI——尤其是配备神经处理单元（专门处理AI任务如人脸识别、调节照片亮度/阴影/对比度的芯片）的手机。技术研究公司Counterpoint的数据显示，2025年全球出货的智能手机中略超过三分之一能够运行生成式AI，到今年年底这一比例将达到45%，到明年年底略超过一半的智能手机将能运行小型AI模型。第二，语言模型的体积在缩小。Rovai说，Google DeepMind的Gemma 4（2025年4月发布）和阿里的Qwen 3.5对小型AI来说“非常棒”。这两个模型都是“开放权重”的，意味着用户可以调整参数之间的连接以适应需求。例如，可以“从乳制品行业获取大量数据，然后针对性地重新训练模型”。

Rovai在Zoom通话中用他最近的实验说明了这两个原因。他举起一个设备说：“这是新的Arduino UNO Q，一个50美元的设备，搭载高通芯片组。我在这里运行语言模型，它从传感器收集数据并分析，以检测蚊子可能繁殖的小水坑。运行它仅需3瓦。”

关键要点

• 小型AI的定义与规模：通常指参数不超过几十亿的语言模型，可运行在手机或Raspberry Pi上，功耗仅几瓦（电池或太阳能供电）。对比：前沿模型参数可能超过1万亿。
• 核心驱动故事：Adebayo Alonge的RxScanner在开普敦因网络延迟失败，促使团队在2小时内将AI模型缩小到手机上运行，衍生出新的离线设备，并推动了小型AI理念。
• 应用场景：非洲和南亚地区的假药检测（RxScanner）、印度无人机检测腰果树病害、乌拉圭葡萄园蚂蚁 infestation检测、多国携带疟疾蚊子检测、巴西偏远地区使用Arduino运行心电图。
• 技术实现方式：
  • 剪枝：移除大模型中不参与特定任务的参数。
  • 蒸馏：训练小模型模仿大模型的行为。
  • 精度降低：将模型从32位架构压缩到8位等。
  • 从头训练：直接在小型设备上训练专用模型（如分类或模式预测）。
• 硬件趋势：2025年超过1/3智能手机支持生成式AI；2026年超过一半；配备神经处理单元的手机越来越多，低功耗硬件性能提升。
• 开放权重模型：如Gemma 4和Qwen 3.5，允许用户调整参数以适应特定领域（如乳制品行业）。
• 可持续性与成本：巨型模型对大多数用户不可持续，依赖补贴；小型AI能为缺乏基础设施的地区提供可负担、可访问的解决方案。

意义与影响

小型AI的兴起为全球数字鸿沟问题的解决提供了切实可行的路径。在世界上最贫困的国家，只有0.7%的互联网用户使用过ChatGPT，而小型AI可以在没有稳定网络、没有电脑、甚至没有可靠电力的环境中运行，直接服务于那些被巨型AI模型忽视的人群。这不仅关乎医疗（如假药检测、疟疾防控），还包括农业、工业检测等众多领域。世界银行行长明确指出了这一点，认为小型AI是“最重要的领域”。

从技术经济角度看，小型AI具有更强的可持续性。正如Alonge所言，如果没有人补贴，大多数用户将无法负担巨型模型；而小型AI开发者可以为世界上的大多数人构建解决方案。随着硬件成本降低（如50美元的Arduino UNO Q）和模型体积缩小（Gemma 4、Qwen 3.5等开放权重模型），小型AI的部署门槛持续下降。这意味着AI赋能的民主化不再是口号，而是正在发生的现实。

长期来看，小型AI可能成为受众最广泛的AI形态。它不追求全能，而是专注于解决特定情境下的具体问题。这种“边缘部署”模式降低了算力、电力、数据、人才等门槛，使得发展中国家、偏远地区甚至富裕国家中网络