← 返回信息流
创投信息钛媒体·2 小时前

Anthropic报告称AI正自主构建自身,呼吁放缓前沿研发

原标题:AI要自己造AI了?Anthropic最新暴论,到底有多真?

速览

Anthropic发布报告指出,Claude已能自主编写超80%代码并连续工作16小时,标志着AI正从辅助工具向递归自我改进(RSI)演进。尽管目前AI在研究品味等高层判断上仍依赖人类,但其效率提升显著。报告据此呼吁建立全球协调机制,在风险上升时有序放缓前沿AI开发。

AI 深度解读

背景

Anthropic 发布了一份题为《When AI Builds Itself》(AI在构建自己)的最新报告,引发科技圈广泛讨论。报告指出,截至今年5月,Anthropic 超过 80% 的代码已由 Claude 自主编写,工程师人均代码产出翻了8倍,且 Claude 具备连续自主工作超过16小时的能力。

基于这些进展,Anthropic 判断 AI 自主设计、构建下一代 AI 已成为可能,并据此呼吁全球放缓前沿 AI 研发。这一观点迅速在社交媒体发酵,引发了关于“递归自我改进”(Recursive Self-Improvement, RSI)和“奇点”临近的焦虑。与此同时,OpenAI 此前也宣称观察到 RSI 的早期迹象。在头部 AI 公司纷纷抛出激进论断的背景下,公众与业界需要厘清:RSI 究竟处于什么阶段?Anthropic 的论断是否被过度解读?

核心内容

1. RSI 的定义与衡量标准 递归自我改进(RSI)是指 AI 能够改进自身,进而由改进后的下一代继续改进,形成无需人类介入的自我加速飞轮。这是 AI 奇点理论的核心触发条件。Anthropic 将 AI 介入自身开发的过程划分为五个阶段,并自认已处于第四阶段,距离终点仅一步之遥。

然而,对照业界通用的 RSI 进度尺子(分为六个阶段),Anthropic 的实际位置更接近第 3 至第 4 阶段之间,即“半自动研究闭环”与“自改进 Agent”阶段。

2. Anthropic 的内部实验数据 Anthropic 披露了两个关键实验来佐证其进展:

  • 半自动研究闭环(第3阶段特征): Claude Agent 全程自主完成一个 AI 安全研究项目,从提出假设到分析结果。该过程耗时约 800 小时,消耗约 1.8 万美元算力,恢复了 97% 的性能缺口;相比之下,两名人类研究员耗时一周仅恢复了 23%。
  • 代码优化实验(第4阶段特征): Claude 拿到训练小模型的代码后,自主运行、计时、修改并重新运行,实现了 52 倍的速度提升。人类熟练研究员在同等任务中仅能实现 4 倍提升。这体现了“修改工具链、运行基准测试、选择更优版本”的自改进 Agent 逻辑。

3. 当前的关键瓶颈:Research Taste(研究品味) 尽管执行层面进步显著,但 Anthropic 指出 RSI 尚未完全跨越的关键环节是“研究品味”,即判断“什么问题值得做”的能力。

  • 层级划分: 初级员工处理具体任务(如“修好按钮”);资深员工处理模糊问题(如“排查网络慢的原因”);最资深人员思考战略方向(如“下个季度做什么”)。
  • 现状: Claude 在第一层已很强,第二层快速追赶,但在第三层(战略判断、可信度评估、何时放弃)仍落后于人类。
  • 数据趋势: 在“判断研究下一步”的任务中,Claude Mythos Preview 在 64% 的情况下被另一个 Claude judge 判定为提出了更好的下一步(五个月前为 51%)。但这仅是在问题边界清晰的情况下测得,真实环境下的自主判断能力尚无定论。

4. AI 发展的三种可能结局 Anthropic 在报告中列出了三种未来情景:

  • 结局一:趋势停在 S 曲线上(最不可能,但后果不轻) 受限于 Transformer 架构瓶颈、算力/能源供应或地缘政治割裂,AI 能力增长趋于平缓。即使如此,现有模型能力仍足以让百人公司接近过去千人公司的产出,社会结构震荡将持续。
  • 结局二:飞轮转起,人类掌舵(最可能的近期情景) AI 负责执行,人类负责判断。但受限于 Amdahl 定律,加速某一环节会将瓶颈转移至下一环节(如代码写得快导致 Code Review 变慢)。人类需在更快节奏中做出更高质量的决策,掌舵难度增加。Anthropic 认为目前正处在此路径上。
  • 结局三:完整 RSI,人类退居验证(不确定性最高) AI 自主构建后继模型,进度由算力决定,人类转为监督者。这能带来医疗、科学等领域的突破,但也存在微小目标偏差在迭代中指数级放大、导致人类失去干预能力的风险。

5. 呼吁与叙事策略 报告末尾,Anthropic 呼吁建立全球协调机制,在风险上升时有序放缓或暂停前沿 AI 开发。这被解读为:Anthropic 承认 RSI 势头迅猛且存在风险,主张集体行动以控制风险,但自身不会单方面停止研发。这种叙事将 Anthropic 定位为“威胁的发现者”和“负责任应对者”。

关键要点

  • 进展属实但被夸大: Anthropic 在代码生成和研究辅助上确实取得了显著突破(如 80% 代码由 AI 编写、研究效率大幅提升),但将其直接等同于“AI 即将完全自主构建下一代 AI”存在过度解读。目前仍处于半自动闭环向自改进 Agent 过渡的阶段。
  • 核心瓶颈未破: “研究品味”(Research Taste)——即战略方向判断、价值评估和决策取舍——仍是人类相对于 AI 的核心优势。只要人类主导这一环节,完整的 RSI 就无法实现。
  • Amdahl 定律的现实约束: 即使 AI 执行效率提升,系统瓶颈会迅速转移至人类决策、代码审查或结果分析环节。人类需要适应更高节奏的决策压力,而非被完全替代。
  • 风险与机遇并存: 完整 RSI 可能带来科学突破,但也存在目标偏差指数级放大的失控风险。Anthropic 提出的三种结局中,“人类掌舵”被视为最可能的近期情景。
  • 叙事背后的动机: Anthropic 通过强调 RSI 风险并呼吁全球放缓研发,旨在塑造其作为行业责任领导者的形象,同时为自身争取战略缓冲时间,避免在无序竞争中落后。

意义与影响

Anthropic 的报告不仅是对技术现状的总结,更是一次行业话语权的争夺。它揭示了当前 AI 发展的真实水位:执行层面的自动化已接近实用化,但认知层面的自主性仍严重依赖人类引导。

对于业界而言,这份报告提醒开发者关注“研究品味”这一软性能力的缺失,并正视 Amdahl 定律在 AI 工作流中带来的新瓶颈。对于政策制定者和公众,报告强调了 RSI 潜在的系统性风险,支持建立全球协调机制的必要性,而非盲目陷入“奇点恐慌”。

最终,Anthropic 的“暴论”并非预言末日,而是对当前技术路径的一种警示:在追求效率飞轮的同时,必须解决人类判断力与 AI 执行力之间的匹配问题,否则效率提升只会带来新的焦虑而非真正的突破。

查看原文 →tmtpost.com