Evidence-Informed LLM Beliefs for Continual Scientific Discovery

背景

随着大语言模型（LLM）在科研领域的深入应用，开放式科学发现正逐渐演变为一种长视野的假设搜索与验证循环。在这一循环中，奖励信号起着指挥棒的作用，指引系统接下来该验证哪个假设。一个典型的近期案例是 AutoDiscovery，它采用“贝叶斯惊讶”作为核心度量——即 LLM 在观察到某个假设的证据后所产生的信念转移程度——既作为发现指标，也作为搜索的奖励信号。然而，这种基于 LLM 的科学发现范式在信念更新的动态性上仍存在显著缺陷。

核心内容

本文指出，AutoDiscovery 将惊讶度视为一个静态量，而人类推理中的惊讶度实际上是非平稳的——它是相对于随经验不断演变的信念来定义的，这也是实现持续科学发现的先决条件。为了解决这一不匹配问题，本文提出了基于证据的 LLM 信念机制：利用先前假设的证据来更新先验信念，从而为新假设计算非平稳的惊讶度。

在技术实现上，研究