Rich Sutton 论 AI 的创造力与发现

来源：Hacker News 讨论区 作者：Rich Sutton（强化学习先驱，OpenAI 联合创始人）

背景

Rich Sutton 是强化学习（Reinforcement Learning, RL）领域的泰斗级人物，也是 OpenAI 的联合创始人之一。尽管他在 2019 年离开了 OpenAI，但他近期在 Hacker News 等社区重新活跃，分享他对人工智能本质的深刻思考。

这篇讨论源于 Sutton 对当前大语言模型（LLM）热潮的反思。当业界普遍将 LLM 视为通往通用人工智能（AGI）的终极路径时，Sutton 提出了截然不同的观点。他认为，当前的 AI 进展更多是“工程上的奇迹”而非“科学上的突破”，并指出我们尚未真正理解智能的本质，尤其是“创造力”和“发现”在 AI 中的角色。他主张回归强化学习的核心，探索更基础、更通用的智能架构，而非仅仅依赖统计相关性。

核心内容

Sutton 的核心论点围绕“创造力”和“发现”在 AI 中的缺失展开，主要包含以下几个层面的论述：

1. 当前 AI 缺乏真正的“发现”能力 Sutton 指出，目前基于大语言模型的系统本质上是“模式匹配”机器。它们通过海量数据训练，学习输入与输出之间的统计关联。这种机制虽然能产生看似智能的输出，但并没有进行真正的“发现”（Discovery）。

• 什么是发现？ 在科学和数学中，发现意味着找到新的概念、新的结构或新的原理，这些内容在训练数据中可能并不存在，或者没有被明确标注。
• LLM 的局限： LLM 无法像人类科学家那样，通过实验或推理去“发现”一个新的物理定律或数学定理。它们只能重组已有的知识。Sutton 认为，如果 AI 不能发现新的东西，它就永远无法实现真正的通用智能。

2. 创造力 vs. 组合性 Sutton 区分了“组合性”（Compositionality）和“创造力”（Creativity）。

• 当前的 AI 非常擅长组合性，即把已有的元素以新的方式组合起来（例如，用已有的词汇写出新的句子）。
• 但真正的创造力涉及生成全新的概念或框架。Sutton 认为，现有的架构（如 Transformer）并不具备生成全新抽象概念的能力。他批评业界将“新颖性”误认为是“创造力”，前者只是数据的重新排列，后者则是对世界模型的拓展。

3. 强化学习 vs. 监督学习 Sutton 强烈主张回归强化学习。他认为，监督学习（如 LLM 的训练方式）是“被动”的，它依赖于人类提供的标签和数据，无法自主探索环境。

• 主动探索： 真正的智能体应该通过与环境互动、试错来学习，从而“发现”环境中隐藏的规律。
• 奖励函数的挑战： 虽然 RL 面临奖励函数设计（Reward Hacking）等难题，但 Sutton 认为这是解决“发现”问题的必经之路。他提出需要更复杂的奖励机制，鼓励智能体去探索未知领域，而不仅仅是优化已知指标。

4. 对“Scaling Law”的质疑 Sutton 对“规模即一切”（Scaling Laws）的观点持保留态度。他认为，虽然增加模型参数和数据量确实带来了性能提升，但这更多是工程上的优化，而非智能本质的飞跃。

• 他担心过度依赖规模会导致研究资源的浪费，并掩盖了我们在算法和架构上的根本缺陷。
• 他呼吁研究者关注更小的、更高效的、基于探索的模型，而不是盲目追求万亿参数的大模型。

5. 智能的生物学基础 Sutton 强调，我们应该从生物学中汲取灵感。人类和动物的智能不仅仅是记忆和检索，更是通过感知、行动和反馈循环来构建对世界的理解。

• 他建议 AI 研究应更多地关注“具身智能”（Embodied AI），即智能体如何在物理或模拟环境中通过互动来学习，而不是仅仅在文本数据中“做梦”。

关键要点

• 缺乏原创性发现：当前 LLM 本质上是统计模型，擅长模式匹配和重组，但无法像人类科学家那样“发现”新的概念、定律或结构。
• 创造力被误解：业界混淆了“组合性”（已有元素的新排列）与真正的“创造力”（生成全新概念或框架）。
• 回归强化学习：Sutton 认为主动探索和环境互动是智能的核心，监督学习过于被动，无法实现真正的通用智能。
• 质疑规模效应：虽然模型规模扩大带来了性能提升，但这主要是工程优化，而非智能本质的突破；过度依赖规模可能阻碍根本性的算法创新。
• 奖励函数的关键作用：要激发 AI 的“发现”能力，需要设计更复杂的奖励机制，鼓励智能体探索未知，而非仅仅优化已知指标。
• 具身智能的重要性：智能应源于与环境的互动，而非单纯的文本处理；从生物学中汲取灵感，关注感知-行动循环。

意义与影响

Rich Sutton 的观点在 AI 社区引发了广泛争议和深思，其影响主要体现在以下几个方面：

1. 对 AI 研究方向的警示 Sutton 的批评提醒业界，不要将当前的工程成功误认为是理论突破。如果 AI 研究继续忽视“发现”和“创造力”的本质问题，可能会陷入“规模陷阱”，即投入巨大资源却难以实现质的飞跃。这促使更多研究者开始关注小模型、高效算法和基于探索的学习方法。

2. 强化学习的复兴 尽管 LLM 占据主流，但 Sutton 的论述为强化学习（尤其是深度强化学习）的价值提供了强有力的理论支持。越来越多的研究开始结合 LLM 的语义理解能力和 RL 的决策探索能力，探索“LLM + RL”的混合架构，以期在复杂任务中实现真正的自主决策。

3. 对 AGI 路径的重新思考 Sutton 的观点挑战了“大语言模型即 AGI”的主流叙事。他暗示，通往 AGI 的道路可能不是简单地扩大模型规模，而是需要从根本上改变 AI 的架构，使其具备主动探索、假设生成和概念创造的能力。这可能意味着未来 AGI 的研究将更多地借鉴认知科学、神经科学和生物学。

4. 伦理与安全 implications 如果 AI 缺乏真正的“发现”能力，那么它在科学创新、药物研发等领域的潜力可能被高估。反之，如果未来 AI 真的具备了“发现”新物理定律或新生物分子的能力，其带来的伦理和安全风险也将呈指数级增长。因此，Sutton 的讨论也间接推动了关于 AI 安全治理的早期思考。

5. 学术与工业界的对话 Sutton 作为 OpenAI 联合创始人和 RL 先驱，其言论具有极高的权威性。他的观点促使工业界（如 Google DeepMind、Meta AI）和学术界重新审视各自的研究重点，推动了更多关于“智能本质”的基础研究，而不仅仅是应用层面的优化。

总之，Rich Sutton 的论述不仅是对当前 AI 热潮的冷静反思，更是对未来 AI 发展路径的深刻指引。他强调的“发现”与“创造力”，可能是解锁真正通用人工智能的关键钥匙。