ICML 2026 AI4S现场：工具、合著者还是创始人

背景

ICML 2026（国际机器学习大会）的最后一天，一场主题为“AI Scientists —— Tools, Co-authors, or Founders?”的 workshop 引发了对于 AI for Science（AI4S）角色的深度焦虑与反思。来自 Allen Institute for AI、Northwestern University、CuspAI、Google DeepMind、Meta、Anthropic、LG AI、UCSF、首尔大学、普林斯顿大学等机构的顶尖研究者，围绕 AI 在科学发现中的定位、评估标准以及未来路径展开了激烈讨论。核心困境在于：当 AI 从实验室里的“工具”演变为科学家的“合作者”，甚至试图成为独立提出问题的“创始人”，我们该如何衡量它的价值？现有的 benchmark 是否已经失效？科学能力本身又该如何定义？

核心内容

本次 workshop 横跨理论和应用多个切面，最核心的争议发生在关于“Benchmarking Breakthroughs in AI Scientists: Definitions and Trustworthiness”的圆桌讨论上。五位嘉宾——LG AI 的 Moontae Lee、Anthropic 的 Julian Schrittwieser、UCSF 的 Brian Cheung、Meta 的 Ben Miller 与首尔大学的 Chaok Seok——围绕 Benchmark 失效、AI Scientist 的定义、验证信号等话题进行了近一小时的辩论。

Moontae Lee 指出，benchmark 一旦发布几乎立刻“死”掉——现有模型为竞争 SOTA 能迅速解决刚发布时还不存在的问题。他建议构建动态演化的 benchmark，像 RL 环境一样“呼吸”，基于最新论文或全新数学问题不断更新。Julian Schrittwieser 则更激进，他不太买账传统 benchmark，更依赖实际交互和“直觉”，认为很难做出能代表真实研究工作流的长期有效 benchmark。Brian Cheung 把标准定得更高，认为理想的 AI scientist 应能做出让人类愿意在此基础上继续构建的发现，真正的“假设生成”而非“假设检验”才是关键。Ben Miller 补充，当前 AI 在“复现昂贵过程”上做得很好，但组合不同想法做出真正新颖东西的能力尚未实现，质变在于“假设生成”。Chaok Seok 则指出，科学中还有很多“我们不知道自己不知道”的领域，AI 和科学必须协作进化，而非单方面替代。

除圆桌外，workshop 还展示了具体的研究工作。普林斯顿大学 Benjamin Eisenberg 团队提出了“掌控力”（empowerment）框架，区分潜在掌控力与有效掌控力，证明最大化掌控力的状态能为适应未知任务提供理论保证。Google DeepMind 的 Ray Jiang 则展示了 AI 作为数学家“合著者”的实例：通过将物理方程直接写入神经网络损失函数，发现了流体方程中三个此前从未被找到的不稳定奇点家族，残差精度达 10^-13，为千禧年难题提供了新的数值路径。

关键要点

• Benchmark 失效：静态 benchmark 一发布即被快速拟合，无法评估 AI 真正的科学能力。必须构建动态演化、像 RL 环境一样“呼吸”的 benchmark。
• AI Scientist 的核心是“假设生成”而非“假设检验”：AI 能提出人类从未想过的猜想，才是成为 co-scientist 的关键。目前 AI 在假设检验上强，但假设生成仍遥不可及。
• 验证信号极难获取：科学是回顾性的，发现是否重要需等广泛采纳后才能判断。Brian Cheung 提出“evaluation scaling law”——能把多少评估塞入系统，决定了 AI 能做多好的科学。
• 掌控力框架：区分潜在掌控力（处于能行使选择的状态）与有效掌控力（主动行使选择），为无需人类反馈的自主动探索提供理论基础。最大化掌控力的状态能最快适应未知新目标。
• 物理信息神经网络发现不稳定奇点：Google DeepMind 将流体方程嵌入损失函数，搜索到三个不稳定奇点家族，精度接近机器极限，且发现奇点间存在严格线性规律，可预测更高阶位置。
• AI 在科学社区被低估，在 AI 社区被高估：许多科学家仍将 AI 仅视为生产力工具，而非能改变研究范式的方法；而 AI 社区有时高估模型自主能力。
• 未来方向：需要更好的“harnessing”范式（如 Claude Code 解锁软件工程类似），以及自动化可重复性验证（例如用 LLM 复现研究论文）；避免“技能退化”，保持与困难问题搏斗的过程。
• 风险与警告：Moontae Lee 担忧技能退化——跳过与最困难部分搏斗的过程；Julian 指向可重复性危机，认为 LLM 可自动化评审但商业公司缺乏动力。

意义与影响

本次 workshop 暴露了 AI for Science 领域最深层张力：我们急于给 AI 的“科学能力”打分，却连“科学能力”本身该如何定义都未达成共识。圆桌辩论表明，静态 benchmark 已不适应前沿 AI 发展，动态评估、人机协作验证、以及基于“掌控力”等理论框架的探索，可能成为未来评估的新方向。

从实际成果看，掌控力框架为无监督的自主探索提供了理论保障，而物理信息神经网络发现不稳定奇点则展示了 AI 作为“合著者”的硬核潜力——它不是在替代人类，而是帮助人类发现传统数值方法无法触及的数学结构，为严格证明提供起点。这些工作共同指向一个未来：AI 与科学必须协作进化，而非单方面替代。

对于产业和投资界，圆桌嘉宾指出 AI4S 领域存在局部过热但整体被低估的现象。投资应流向可重复性验证、动态 benchmark 构建、以及能够真正帮助科学家生成新假说的工具和框架。同时，需警惕“技能退化”——研究者（无论是人还是 AI）不应跳过与未知搏斗的过程，因为“科学没有解决方案，但这个过程本身，或许才是我们十年后最不该忘记的事”。