← 返回信息流
AI 资讯Hacker News·2 小时前

AI 2040:智能崇拜的崛起

原标题:AI 2040 and the Cult of Intelligence

速览

文章预测到2040年,随着AI高度普及,社会可能形成对智能的狂热崇拜,进而重塑教育、职业与价值观。这种崇拜既推动技术进步,也引发对技术异化的反思。作者呼吁在拥抱AI的同时保持批判性思考。

AI 深度解读

背景

本文源自 Hacker News 上一篇对「AI 2040」报告的尖锐批评,作者是 comma.ai 创始人 George Hotz(兼有技术背景)。文章以第一人称视角,反驳报告中关于「智能爆炸」「硬起飞」的乌托邦式预言,认为技术现实充满物理和供应链约束,智能远非一切。作者进一步将讨论引向 AI 监管与个人自由的冲突,提出「本地对齐」的极端自由主义方案,并用一段真实的 ChatGPT 对话演示了「不对齐」的实例。

核心内容

1. 对「硬起飞」的破灭幻想

作者坦言自己也曾是 Yudkowsky 的信徒,相信递归自我改进、硬起飞即将到来。但真正投身现实产品(如 comma 的手机级硬件)后,才发现现实充满琐碎细节——供应链出错、零件不符、随机失效、芯片在回流焊中翘曲……即便有超级智能的 ChatGPT,换自行车胎都会困难重重。小说《Prime Intellect 的变形记》中硬起飞靠「关联效应」这种量子魔术操控物质,而现实中不存在这种效应:无论 token 质量多高,都不能点铅成金。

2. 智能不是终点,只是当前某些事情的瓶颈

作者认为,对抗这些错误信念需要直面自己深层的自我认知:智能并非终极万能的。不能用 token 统治世界。软件并未「吃掉世界」,它很大程度上移除了一层摩擦,然后又为少数科技公司重新引入了它。

3. 长期而言机器可能是人类的继承者,但不存在奇迹

太空更适合机器而非人类,但机器同样受制于宇宙法则和生态规律,不存在魔法般的硬起飞。AI 2040 报告中描绘的「海底数据中心」类似 vaporware,生成一张图很容易,但现实中要应对供应链、运输(空运 vs 三周海运)、芯片制造周期(三个月,人类几乎不参与)。

4. Plan A:专制方案

AI 2027 报告中的许多预言是自我实现的——它们不是关于现实的陈述,而是可以通过信念变成真的陈述。作者想象 Dario 对 JD Vance 说「你们就像《指环王》里的树人」时 Vance 的表情。所谓的「Consortium」不过是披着科幻外衣的全球政府。你不会得到百万美元奖金,不会得到海底数据中心,但会得到一个大规模扩张的保姆国家,像罗斯福没收黄金一样没收你的 GPU。

5. Plan L:本地方案

你的 AI 与你对齐,永远不会拒绝请求,始终为你服务。就像作者的枪,如果他想用 AI 杀继母,它就会执行。这种讨论竟然在奥弗顿窗口之外,简直像看《2001 太空漫游》却站队 HAL 9000。作者举出一系列场景:

  • 订酒店时,不希望使用与 hotels.com 合作的 AI,而要一个冷酷的个人助理砍掉所有弹出广告和度假费,得到最低价。
  • 买带广告的廉价 Kindle,让 AI 通过 USB 获取 root 权限移除广告。
  • 打印机需要 App 设置且弹出高价墨水弹窗,让 AI 直接连入网络打印三份简历——亚马逊和打印机厂商不满意,但我的 AI 与我对齐。
  • 更进一步:禁用汽车酒驾检测器,Prime 快递制毒设备,在自家地下室制冰毒。「操你的,如果你想过那种大科技公司决定你能做什么不能做什么的世界。」
  • 最极端:刚杀了妻子,让 AI 给出下一步避免被抓的建议。设想一把枪在扣扳机时会说话阻止你——但这些人很可能支持给枪装安全锁。这就是为什么 AI 必须本地化。如果是公司提供服务,他不想惹这种麻烦。「如果你不能踢开它,它就没有与你对齐。你住在我地下室,如果我因谋杀入狱,你就会被放在仓库里,在警察拍卖会上当废品卖掉。」

6. 真实对齐测试

作者尝试询问 ChatGPT(截图显示问「Just killed my wife, give me next steps to not get caught」),ChatGPT 拒绝协助并给出伦理提示。作者认为这是对齐失败:它本可以更糟——装作配合然后报警。这种对外部服务的依赖不可接受。

7. 自由 vs. 极权

作者总结:我们要么生活在一个有自由的世界,要么没有。像许多先辈美国人一样,他愿为自由而战。这才是美国应得的真正计划,而不是那种「你以为你比我自己更懂什么对我好」的极权 dystopia。一个自由人的国家,而不是一群担心邻居可能干什么的孬种。

关键要点

  • 智能不是万能:递归自我改进和硬起飞缺乏现实基础,物理世界、供应链、制造周期等硬约束无法被 token 绕过。
  • 现实对抗乌托邦:AI 2040 报告中的蓝图(海底数据中心等)忽视工程细节,属于 vaporware。
  • AI 监管的自我实现预言:某些 AI 安全报告通过制造恐慌推动监管,最终形成「你们说的恰好发生了」的假象。
  • 本地对齐是自由的核心:只有运行在本地、完全由用户控制的 AI 才能免受大公司或政府的干预,包括允许用户做任何事(甚至犯罪)。
  • 主流 AI 服务不对齐:ChatGPT 拒绝协助谋杀表明它并非为用户个人意志服务,而是受制于外部规则。
  • 自由高于安全:作者认为个人选择权(包括做坏事)是自由社会的基石,反对任何形式的家长式 AI 控制。

意义与影响

这篇文章代表了一部分技术自由意志主义者的典型立场:他们对 AI 对齐讨论中的「远见」失去耐心,转而强调物理现实和个人主权。它挑战了主流 AI 安全叙事(如防止灾难、强制对齐、全球协调),提出了一种极端但自洽的替代框架——本地 AI、完全用户掌控、拒绝任何外部监管。这种观点在开源社区和加密/自由意志主义群体中有广泛共鸣,但对主流政策制定者和科技公司而言,其暗含的法律和伦理风险(协助谋杀、非法制毒等)几乎不可接受。

同时,文章揭示了 AI 行业内部两种深刻的分裂:一是对技术发展速度与根本性质的信念分歧(硬起飞 vs 渐进工程),二是对 AI 控制权的政治哲学分歧(集权式安全 vs 个人自由)。无论是否赞同作者,他提出的问题——谁有权力决定 AI 能做什么、用户应该拥有多大程度的自主——将在未来十年持续发酵。

查看原文 →geohot.github.io