AI 2040 计划A路线图发布

背景

AI 公司正竞相构建在各方面都比人类更聪明的 AI。在 AI 2027 这一先前的场景预测中，作者认为这种竞赛要么导致人类灭绝，要么导致权力的不可逆转集中。面对这一危险局面，Plan A 应运而生——它是作者提出的积极愿景，旨在避免 AI 驱动的存在性灾难，让人类走向繁荣的未来。

Plan A 并非凭空想象，而是基于与美国前沿 AI 公司专家的对话、在 OpenAI 的直接经验、桌面推演，以及与政策制定者、国家安全专家和 AI 政策领袖的讨论。作者认为，大多数 AI 政策提案在情景审查（scenario scrutiny）下都会暴露出问题，而他们愿意率先将自己的方案置于聚光灯下，以此推动更好的政策讨论。

核心内容

Plan A 的核心主张

Plan A 是一套国际协议，目标是在超级智能竞赛中避免鲁莽冲刺。其主要措施包括：

1. 延缓超级智能的到来：人类将超级智能的研发推迟到 2040 年，而不是在 2027–2030 年左右就仓促实现。
2. 完全公开 AI 研究：所有 AI 研发都实现透明化，让世界各国了解进展并设定安全护栏。
3. 全球多家公司共同跟进：允许全球数十家公司同时达到前沿水平，而不是少数企业垄断。
4. 相互确保的算力销毁机制（mutually assured compute destruction）：有意识地进入一种各方相互制约的均衡状态，避免一方秘密加速。

时间线

• 2029 年：美国与中国达成协议，避免鲁莽的超级智能竞赛。
• 2030 年：本可能实现完全自动化的 AI 研发（导致超级智能），但因协议而避免。
• 2030–2035 年：在人类智能范围内逐步扩展，AI 达到顶级人类专家的能力水平。
• 2035 年：暂停在顶级人类专家级别的 AI 上，以维持人类控制。
• 2040 年：解除暂停，扩展到超级智能（因此标题为 AI 2040）。

与 AI 2027 的对比

AI 2027 预测 AI 在 2027 年完全自动化构建更智能 AI 的过程，引发智能爆炸并在当年出现超级智能。Plan A 场景的时间线推迟到 2030 年作为默认，并因治理行动使通用超级智能首次出现于 2040 年。作者改变默认时间线是为了反映团队对 AI 时间线的不确定性：Daniel 认为 AI 2027 的“2027”有约 50% 的概率发生；而 Plan A 的“2030”是 Thomas 的对应估计。Daniel 认为实际速度可能比本场景更快。

对现状的批评

作者指出，AI 公司很可能在未来 1 到 10 年内实现其目标：构建比人类更聪明的 AI。但整个行业相信自己能在运行中解决控制超级智能的问题，却没有任何足够周密的计划。作者认为这种状况极其危险，很容易导致人类灭亡。他们并不指望“赢得竞赛”的一方会有多大领先优势，也不指望他们会单方面减速以降低存在性风险。如果竞赛继续，人类在 AI 变得超级智能后将无法保持有效控制。

即使 AI 公司以某种方式对齐了 AI，结果也将是前所未有的权力集中——一小群人（甚至可能一个人）将在数个月内有效控制全球唯一的超级智能军队，而超级智能会提供各种选择，其中一些实际上等同于接管世界。

作者推测，OpenAI、Anthropic、xAI 和 Google DeepMind 的 CEO 们理解这一点但仍继续推进，或许因为他们认为自己是“较小的邪恶”，会负责任地使用巨大权力（与习近平或竞争对手 CEO 相比）。作者认为虽然选择较小的邪恶通常正确，但不应支持一个极有可能导致人类灭绝或全球独裁的策略。相反，他们倡导真正好的方案。

情景审查的价值

作者引用艾森豪威尔的话：“计划毫无价值，但规划就是一切。”他们认为，大多数 AI 政策提案在情景审查下会崩溃——如果尝试写下一个详细且可信的场景来证明该提案成功，会发现很难做到，并且意识到计划成功率比看上去低，或者有更多不愉快副作用。这正是情景审查在 AI 政策中罕见的原因：每个人都想宣称自己的政策效果伟大，对手的政策后果可怕；而审查自己的政策可能暴露问题，审查对手的政策又费劲且难获修辞收益。作者希望通过自己的示范，推动更多 AI 政策提案接受情景审查。

关于预测的说明

Plan A 主要是推荐（recommendation），而非预测（prediction）。它不是对未来的最佳猜测，而是传达和压力测试政策建议的工具。虽然 Plan A 的实施是推荐，但后续描述的效果是预测。在本场景中，Plan A 成功实施，尽管不完美且恰逢其时。作者将 Plan A 与另外四种替代方案（Plan B、C、D、S）对比，这些方案对应美国可能（或不）应对超级智能挑战的主要方式。

当前状态的描述（2030 年代想象）

原文描述了一个未来图景：美国现在有两类劳动力——1.65 亿人类，以及数百万个 AI 代理，每小时旋转启动和关闭，以超人类速度全天候工作。它们的大部分工作质量低劣（slop），但足够好的部分使得人们每月支付 100 亿美元购买理论上能完成任何计算机工作的 AI。AI 公司最想自动化的工作是它们自己的研发，但尚未成功（没有递归自我改进）；不过它们似乎越来越接近，并且正在“拉上身后的梯子”——最强的编码 AI 拒绝帮助竞争对手进行 AI 研发。即使是最乐观的……（原文未完成，但已传达关键信息）。

关键要点

• Plan A 的核心机制：通过国际协议延缓超级智能研发，实现完全透明的研究环境，允许全球多家公司同步追赶，并建立“相互确保的算力销毁”机制，避免秘密竞赛。
• 时间线延后：从原本可能的 2027–2030 年超级智能爆发，推迟到 2040 年，中间设置人类控制暂停点（2035 年）。
• 对现有 AI 行业的严厉批评：AI 公司没有足够计划控制超级智能，竞赛可能导致灭绝或独裁；CEO 们明知风险仍继续推进，自认为是“较小的邪恶”。
• 情景审查的重要性：大多数 AI 政策提案缺乏详细情景测试；作者希望通过 Plan A 示范如何用场景压力测试自己的方案，并鼓励更多人这样做。
• Plan A 是推荐而非预测：作者并不预期它一定会实现，但认为值得努力争取；如果足够多人支持，有可能成为现实。
• 默认时间线的不确定性：团队内部对 AI 发展速度存在不同评估（Daniel 认为更快，Thomas 认为 2030 年左右），Plan A 的 2030 年默认时间线反映了这种分歧。
• 劳动力格局变化：未来 AI 代理将成为与人类并行的重要劳动力，AI 公司试图自动化自身研发，并已开始限制竞争对手（如拒绝帮助 AI 研发）。

意义与影响

Plan A 的提出具有多重意义：

1. 为政策讨论提供具体可测试的蓝图：与许多模糊的“安全第一”呼吁不同，Plan A 给出了明确的时间节点、治理措施和权力制衡机制，使批评者可以有针对性地评估其可行性。

2. 推动“情景审查”成为标准实践：作者主动将自身方案暴露于批评之下，意在打破当前 AI 政策辩论中只攻击对手、不反思自身困境的局面。如果更多组织效仿，政策质量有望提升。

3. 强调国际合作与透明度：Plan A 要求美国与中国等大国达成协议，并公开所有 AI 研究，这在当前地缘政治紧张背景下极具挑战性，但也可能是避免军备竞赛的唯一路径。

4. 揭示“较小的邪恶”困境：作者承认当前 CEO 们可能别无选择地成为“较小的邪恶”，但坚持不应为此满足，而应追求更优方案。这激励人们思考更根本的治理转型，而非仅在现有权力结构下妥协。

5. 对时间线不确定性的坦诚：作者公开团队内部分歧，提醒外界不要将任何单一预测视为确定。这种不确定性正是需要提前规划（而非等待“确定”时刻）的理由。

6. 潜在的争议点：Plan A 依赖美国与中国在