生成式AI是场工程灾难
速览
生成式AI技术虽火爆,但工程层面存在可靠性差、成本高、维护难等缺陷。有观点认为其当前实现方式有根本性问题,可能导致大规模失败。这一论调引发科技界反思AI落地可行性。
AI 深度解读
背景
生成式 AI 正陷入一场工程灾难。AI 公司为了维持系统运行,疯狂抢购全球高端计算机内存,导致普通消费者面临硬件短缺和价格飙升。根据《大西洋月刊》(The Atlantic)旗下 AI Watchdog 项目的调查,大型语言模型如 ChatGPT 和 Claude 对资源的吞噬程度远超预期:科技公司可能购买了全球 70% 的高端计算机内存,造成短缺。两年前单价 350 美元的硬盘如今涨到 800 美元,且已断货;部分笔记本电脑涨价高达 50%,低价电脑受冲击最严重,有预测称到 2028 年廉价入门电脑可能消失。内存短缺预计将持续数年。
这些内存被投入数据中心,科技公司正在以惊人的速度扩建——计划未来几年将美国数据中心总容量扩大 8 倍。数据中心用电需求极大,一些企业甚至将喷气发动机改装用于供电。
核心内容
问题根源并不在于 AI 被广泛或快速部署。其他计算机技术也曾经历大规模增长,但没有引发如此严重的电力飙升或组件短缺:全球流媒体视频和音乐每天产生数 TB 流量;智能手机浪潮需要制造数十亿设备并传输海量数据;数十亿家用设备加入物联网;整个行业迁移到云软件——这些系统同样依赖数据中心。
生成式 AI 的症结在于:用行业术语说,它无法规模化(does not scale)。风险投资评估初创公司时,关键指标是从一千用户增长到一百万所需的成本边际变化——理想情况下,每新增用户的成本应随时间下降。这通过精心设计的计算机系统实现,以高效处理更多用户发照片、叫车或听歌。
但生成式 AI 并未完成构建高效可扩展系统的工作。问题因模型规模不断膨胀而加剧:根据独立估算,生成式 AI 模型参数从 2020 年的 1750 亿增长到如今超过 1 万亿(实际驱动 Claude 和 ChatGPT 等产品的模型大小属商业机密)。"大"不应是卖点,但行业观察到更大的模型通常表现更好,由此催生了所谓的"缩放定律"(scaling laws)——认为只要把模型做大就能解决一切问题。OpenAI CEO Sam Altman 曾在博客中写道:"也许用 10 吉瓦的计算能力,AI 就能找出治愈癌症的方法。"
然而收益正在递减:模型越大,每增加一个参数带来的提升越小,必须更快速地扩大规模才能维持稳定进步。当被问及能否举出其他扩展性如此差的真实软件时,多位 AI 研究人员都表示想不出任何例子。甚至放眼软件之外的世界,也很难找到可类比的情况——规模经济本应是让灯泡、汽车和服装变得廉价的核心原则。按经济和工程标准衡量,生成式 AI 可能是人类历史上部署过的最糟糕技术。
但面对当前臃肿路径背后庞大的投资,变革意愿并不强。OpenAI 联合创始人兼前首席科学家 Ilya Sutskever 在去年 11 月的采访中指出,企业选择暴力方法是因为"这样能以极低风险投入资源"。相比之下,对当前估值已达数万亿美元的产品进行重新设计的研究投入则更难。那些认为我们正处于 AI 驱动的泡沫经济中的人指出,这些公司的盈利能力仍是未解之谜,很大程度上源于技术的高成本和低效率。
效率是计算机科学的核心原则。本科生最早学到的一条是:写一个给 50 个单词排序的程序很容易,但如果输入 5000 万个单词,程序要么耗尽内存要么运行数小时。计算机科学很大一部分内容就是学习巧妙编码防止这种情况——许多技术利用数据中的重复模式,使得随着输入增多,处理每个额外比特所需的时间或内存反而减少(对数缩放)。这正是现代智能手机性能强大且价格亲民的原因之一。
大型语言模型做不到对数缩放。当处理更多单词时,它们变得更慢、占用更多内存——随着输入增长,时间和资源消耗加速增加(二次缩放)。任何计算机专业的学生都知道这是非常糟糕的情况。
Epoch AI 去年发布的一张图(已获授权转载)展示了几个公开 AI 模型处理更多"token"(用户输入给聊天机器人的词)时成本呈指数级增长。
AI 并非必然要这样构建。传统上,AI 的目标是模拟人类思维过程——研究者观察自身思考,将心智习惯编码实现。这种方法因难以厘清和明确人类思维规则而基本被弃用,但它的好处是消耗的资源少得多。当前 AI 方法并不描述人类思维规则,而是给计算机数百万个示例模仿。大量示例让大模型在生成语言、图像和音乐时优于小模型。一些研究者希望回归更高效的传统方法并与现代方法结合,但这类项目远远不及驱动聊天机器人的模型所吸引的关注和资金。
聊天机器人公司知道产品效率低下。一些公司找到了改进性能的技术,但并未带来显著收益。偶尔有公司宣称取得突破——Anthropic CEO Dario Amodei 称之为"计算倍增器"——但描述通常模糊,没有证据表明二次缩放和模型规模爆炸这两个根本问题已被克服(Anthropic 拒绝就此正式置评)。
一些研究者在开发极小的模型,需要更少数据和算力。微软 AI 研究员 Alexia Jolicoeur-Martineau 独立设计了一种"微型递归模型",去年因相关论文赢得 5 万美元奖金。她在论文中写道:"认为必须依赖大公司耗资数百万美元训练的基础大模型才能解决困难任务,这是一种陷阱。"不过她的模型无法替代大型语言模型。
关键要点
- 内存短缺严重:AI 公司抢购全球 70% 的高端内存,导致硬盘、笔记本电脑大幅涨价,廉价电脑可能 2028 年前消失。
- 数据中心扩张惊人:未来几年美国数据中心总容量计划扩大 8 倍,部分站点用电需求大到需要改装喷气发动机供电。
- 扩展性极差:生成式 AI 的成本不随规模递减,反而呈二次方增长,这在软件领域几乎找不到先例,甚至违反规模经济的基本经济原理。
- 缩放定律正向收益递减:模型越大,每增加参数带来的提升越小,迫使更快速膨胀,但资源消耗却指数级增长。
- 暴力方法是低风险选择:Ilya Sutskever 承认企业选择暴力投入是因为风险低,而重新设计产品的研究资金难以获得。
- 利润前景不明:AI 公司的高成本和低效率使其盈利能力仍是开放问题,有观点认为处于泡沫经济中。
- 小模型方向受冷落:高效微型模型(如 Alexia Jolicoeur-Martineau 的递归模型)获得关注极少,主流 AI 研究仍集中在大模型上。
- 行业缺乏变革意愿:万亿级估值的产品已形成路径依赖,即便知道效率问题,也缺乏动力转向更高效方法。
意义与影响
生成式 AI 的工程灾难正在重塑整个科技产业的成本结构。普通消费者不得不承受硬件涨价和短缺,廉价电脑的消失可能加剧数字鸿沟——那些原本依赖低端设备接入数字世界的群体将被边缘化。数据中心的大规模扩张对环境带来巨大压力:电力消耗直线上升,改装喷气发动机供电只是权宜之计,长期来看可能推高电价并增加碳排放。
从经济学角度看,生成式 AI 违背了规模化盈利的基本商业逻辑。如果每增加一个用户成本反而上升,这意味着整个商业模式建立在庞氏式增长预期之上——只有不断注入新资本才能维持系统运行。一旦投资者意识到这种不可持续性,泡沫破裂将引发连锁反应。
更深远的影响在于对计算机科学理念的冲击。效率本应是核心原则,但当前 AI 行业信奉"暴力计算可以解决一切",实质上是放弃了工程优化和算法创新。若这种思路主导未来几十年,科技发展可能陷入"以能耗换智能"的歧途。好在仍有研究者坚持更高效的方向——将传统符号推理与现代深度学习结合,发展极小模型——但目前它们获得的资源与巨头们的万亿参数模型相比微不足道。
这场危机也给政策制定者敲响警钟。生成式 AI 的资源消耗已不再是单纯的技术问题,而是影响国计民生的战略议题。内存短缺可能冲击其他关键行业(如医疗影像、国防系统),电力需求激增可能挑战电网稳定性。需要更审慎地评估投入产出比,或许应像制定能源效率标准一样,为 AI 模型设定能效红线。否则,正如原文所言:生成式 AI 可能是人类历史上部署过的最糟糕技术。
