RSI 即新 AGI——且同样难以捉摸
速览
新兴 AI 实验室正将重心转向递归自我改进(RSI)技术,试图让 AI 系统具备自我迭代升级的能力。这一路径被视为通向通用人工智能(AGI)的关键,但其复杂性极高。目前,该目标在实践中仍显得遥不可及,进展充满不确定性。
AI 深度解读
RSI 是新的 AGI——且同样难以捉摸
背景
“递归”(Recursion)一词已成为 AI 圈子里的最新热词。两家独立的初创公司直接以“递归”命名,还有更多公司开始在路线图里提及“递归自我改进”(Recursive Self-Improvement,简称 RSI)。就像之前的 AGI(通用人工智能)一样,RSI 已成为一个代表灾难性 AI 突变的三字缩写——尽管目前对于其确切含义仍存在些许分歧。
在基本层面上,RSI 指的是一种能够持续升级自身的 AI 系统。一旦 AI 系统在管理升级周期方面超越人类,这个过程就会变成一个闭环,仅受限于其可访问的计算能力,人类不再必要,甚至可能成为阻碍。无论这一愿景是令人恐惧还是令人兴奋,许多 AI 实验室都渴望追逐这一目标。
核心内容
近期,知名 AI 研究者 Richard Socher 推出了名为 Recursive Superintelligence 的公司,并将 RSI 作为明确目标。他在发布时向 TechCrunch 表示:“我们的主要焦点是构建真正递归、自我改进的大规模超级智能,这意味着研究想法的构思、实施和验证全过程都将是自动化的。”
除了 Socher,许多其他知名研究者也在追逐这一目标,希望取得让递归自我改进成为可能的突破。
主要参与者与进展:
- Andrej Karpathy 的 Auto-Research 项目: 这位来自 Tesla 和 OpenAI 的传奇人物正在使用“智能体集群”(agent swarms)在简单任务上训练大语言模型(LLM),该项目被称为 Auto-Research。Karpathy 对此项目异常开放,定期在 Twitter 上发布里程碑进展,并通过公共 GitHub 仓库提供构建模块。目前,工作主要集中在对 GPT-2 规模模型进行微小改进——正如 Karpathy 在 3 月所指出的,“这还不是新颖、突破性的‘研究’(目前)”。但这足以说服许多其他研究者追随 RSI 的梦想。随着 Karpathy 目前在 Anthropic 从事预训练工作,他将有机会在更大规模上应用这一理念。
- Adaption 的 AutoScientist 工具: 由 Cohere 和 Google 前员工 Sara Hooker 创立的 Adaption 公司最近推出了类似的工具 AutoScientist,旨在自动化前沿模型的训练。与 Karpathy 的自动研究者类似,该系统训练智能体进行增量改进,但 Adaption 的目标是更容易地训练全规模的前沿模型。如果这些研究者开始推动前沿发展,该系统可能会迅速螺旋式发展为类似 RSI 的形态。
- Disarray 的 Doris Xin: 她的自训练机器学习智能体在最近的一次 Kaggle 竞赛中赢得了 28 枚奖牌,击败了众多由人类训练的智能体。Xin 认为主要挑战在于可靠性。她向 TechCrunch 表示:“我认为,给定无限的计算能力和无限的时间范围,我们已经到达了那里。我想论证这实际上不是一个创造性工作,而只是大量的基础工程。”
行业现状与专家观点:
尽管有上述进展,也有大量证据表明 AI 行业在实质上距离递归系统还很远,并且仍在努力向公众解释其进展。Google CEO Sundar Pichai 在最近的一次播客采访中基本上承认了这一点。他表示:“这是一个连续体,我们肯定都在取得进展。但是,按照人们描述 RSI 的方式,那将代表加速的下一个阶段,并产生许多影响,但我们尚未到达那里。”
然而,这个连续体包含了许多自我改进的 AI 系统。今年 1 月,Anthropic 负责 Claude Code 的主要程序员之一估计,其团队近“100%”的代码是由该工具编写的——这是一个坦率的承认,即 Claude Code literally(字面上)在编写自己。虽然使用 AI 工具并不意味着工具能完全取代工程师,但 Anthropic 似乎正接近取代工程师。在与 Mythos 预览版相关的最近一项调查中,18 名 Anthropic 工程师中有 5 人认为,随着工具包的改进,这个版本的 Mythos 很快就能替代 L4 工程师(即无需监督即可承担复杂项目的中级程序员)。
报告指出 Claude 的主要弱点包括:自我管理为期一周的模糊任务、理解组织优先级、品味、验证、指令遵循以及认识论(epistemics)。换句话说,它的弱点在于所有涉及自我指导的内容,而这正是 RSI 的基石。但对于其他一切,Claude 似乎已经准备好接手。
与 AGI 一词一样,AI 行业也无法告诉我们距离展示一个有意义的递归系统还有多远。去年,当 Georgetown 的安全与新兴技术中心(CSET)组建专家组研究 RSI 时,发现评估存在重大分歧——一些人预计会出现迫在眉睫的“超级智能”式爆发,而另一些人则预计进展缓慢并最终趋于平稳。但所有人都同意,递归使得未来特别难以预测。
CSET 主任、OpenAI 前董事会成员 Helen Toner 告诉 TechCrunch,仅仅使用 AI 工具进行 AI 研究不足以被归类为 RSI。“他们只是尽可能多地使用 AI,”Toner 说,“我认为这与 RSI 的经典定义不同,经典定义的核心是确实不需要人类。”
Toner 引用了 METR 的 Ajeya Cotra 最近的一篇帖子,该帖子区分了 AI 研究接管道路上的不同里程碑。Cotra 提出的第一步是“充分性”(adequacy),即当系统在所有人类被移除后仍能进行研究时(即使 resulting 的研究价值或效率较低)。当纯 AI 系统的研究能力与纯人类系统相当时,称为“parity”(对等)。最终阶段是“supremacy”(优势),即纯 AI 系统优于人类与 AI 协作的系统。
Cotra 得出结论,AI 非常接近能够独立产生一些工作的“充分性”阈值——类似于 Karpathy 的 Auto-Research 系统所做的增量变化。“如果你告诉我这一里程碑已经通过,我完全不会感到惊讶,我预计它将在未来几年内实现。”她对于“对等”何时到来不太确定,但一旦实现,她认为这将“极大地加速 AI 进步的节奏,导致 AI 研究优势在一年内出现”。
面临的挑战:
由于 AI 大量建立在扩展定律(scaling laws)之上,人们倾向于认为 RSI 也会遵循相同的曲线。Toner 认为,许多通过 RSI 追求 AI 研发的人“将其视为一个相当平滑的阶梯,你可以不断扩展规模”。
但即使 AI 研究者能够像 Karpathy 的自动研究者那样做出增量改进,在移交整个研究过程时仍面临更大的挑战。Toner 用计算机历史来比喻:人类从机器语言转向汇编语言,再转向编译语言,逐渐远离计算机的核心,但“人类在某种直觉意义上仍然掌控全局”。
要超越这种范式,需要在工程和价值观对齐(alignment)方面克服重大挑战。即使投入巨大,也没有无限的计算资源可用——人类劳动与机器智能之间的基本权衡将难以克服。至于那种带有末日色彩的完全递归 AI 系统?研究人员基本上唯一的共识是,就像 AGI 一样,它尚未到来。
关键要点
- RSI 的定义与愿景: RSI(递归自我改进)指 AI 系统能持续升级自身,最终形成仅受限于算力的闭环,无需人类干预。这被视为继 AGI 后的下一个重大技术奇点。
- 主要玩家与动作:
- Richard Socher 创立 Recursive Superintelligence,目标是全自动化的研究循环。
- Andrej Karpathy 在 Anthropic 推进 Auto-Research,利用智能体集群进行模型增量改进。
- Adaption (Sara Hooker) 推出 AutoScientist,旨在自动化前沿模型训练。
- Doris Xin (Disarray) 展示自训练智能体在 Kaggle 竞赛中的优异表现,强调可靠性是主要挑战。
- 当前进展与局限:
- Claude Code 的自我迭代: Anthropic 工程师承认其代码大部分由 AI 生成,AI 正接近替代中级程序员(L4),但在自我指导、理解优先级等“软技能”上仍有明显弱点。
- 行业共识: Google CEO Sundar Pichai 及多位专家承认,虽然 AI 在自我改进方面取得进展,但距离真正的 RSI 仍有距离。
- 专家评估框架 (Ajeya Cotra):
- 充分性 (Adequacy): AI 可在无人类情况下进行研究(可能效率
