FirstResearch框架让LLM科学提问过程可审计
速览
FirstResearch是一个面向LLM科学发现智能体的首性研究问题生成框架，其核心是结构化研究问题证书，记录原始定义、假设、机制模型、矛盾、可证伪假设等，使问题可审计。在10个研究主题上，FirstResearch优于基于AI co-scientist等方法的基线，在DeepSeek盲审和Gemini独立评审中均排名最高。去证书组件后评分骤降，表明证书模块是关键。
AI 深度解读
背景
随着大型语言模型（LLM）在科学发现领域的应用日益深入，研究者开始借助LLM辅助创意生成、文献综合、实验规划与报告撰写等环节。然而，这些系统提出的第一个研究问题往往难以审计：问题听起来合理，但科学家无法直接查看其背后的机制、可证伪条件或隐含假设。这种“黑箱”式的问题生成方式使得科研过程的透明性和可复现性受到挑战。现有如AI co-scientist、Agent Laboratory、AI Scientist-v2等框架虽能生成研究问题，但缺乏对问题形成过程的结构化记录与审计能力。为应对这一缺陷，研究者提出了FirstResearch框架，旨在通过显式推导约束使LLM生成的科学问题更可审计。
核心内容
FirstResearch是一个基于第一性原理的研究问题形成框架，专为科学LLM智能体设计。其核心产物是一份结构化的研究问题证书（Research Question Certificate）。该证书包含以下六个关键组成部分：
- 原始定义（primitive definitions）：明确问题所涉及的基本概念和术语。
- 假设（assumptions）：列出问题成立所依赖的前提条件。
- 机制模型（mechanism model）：描述问题背后的因果或逻辑机制。
- 张力或矛盾（tension or contradiction）：指出现有知识或模型中的不一致之处。
- 可证伪假设（falsifiable hypothesis）：提出一个可通过实验验证的具体假设。
- 最小决定性测试（minimal decisive test）：设计一个能够区分假设真伪的最简实验。
- 失败更新规则（failure update rule）：规定当假设被证伪时如何更新模型或假设。
这些要素使得所提出的研究问题在执行下游任务（如实验设计、数据收集）之前即可被审查，从而提升可审计性。
在评估方面，研究者在10个LLM智能体研究主题上，采用DeepSeek盲审协议（blind-judge protocol）对FirstResearch与受AI co-scientist、Agent Laboratory、AI Scientist-v2启发的基线方法进行了对比。结果显示，FirstResearch在所有基线中表现最优。进一步使用Gemini-2.5-Flash独立评审者对同一40个基线包进行重新评分，系统级排名保持不变：FirstResearch得分为4.86/5，最强基线得分为4.38/5，平均分的Pearson一致性达到0.865。一次消融实验（仅保留证书核心组件）表明，证书中心组件是框架最强的部分：仅使用证书时，DeepSeek评审得分为4.90/5，Gemini得分为4.88/5；而移除证书后，两个评审的得分均低于1/5。
研究者指出，这些结果仍是初步的，且使用了LLM评审而非人类领域专家，但支持一个狭窄的科学发现主张：显式推导约束是一种有前景的机制，可使LLM生成的科学问题更具可审计性。代码、提示词、保存的输出和复现脚本已公开。
关键要点
- FirstResearch的核心创新是研究问题证书（Research Question Certificate），它将问题的形成过程分解为7个可审计的组件。
- 证书使研究者能够在执行实验之前审查问题背后的机制、假设和可证伪条件，从而避免“听起来合理但无法验证”的虚假问题。
- 在10个研究主题上，FirstResearch在DeepSeek盲审和Gemini独立评审下均优于所有基线（包括AI co-scientist、Agent Laboratory、AI Scientist-v2）。
- 证书消融实验显示，仅保留证书组件时性能接近满分（4.90/5），移除证书后性能崩溃（<1/5），证明证书是框架的核心。
- 评估仍依赖LLM评审，而非人类专家，因此结论需谨慎对待；但结果支持了显式推导约束提升可审计性的方向。
- 全部代码、提示词、输出和复现脚本已开源，便于其他研究者验证和扩展。
意义与影响
FirstResearch为LLM驱动的科学发现引入了可审计性这一关键维度。传统上，LLM生成的研究问题往往缺乏透明度，科学家难以判断其逻辑是否自洽、假设是否合理。通过强制要求问题生成过程输出结构化的证书，FirstResearch使得问题形成过程可审查、可追溯，从而增强了科研过程的可靠性和可复现性。这一框架尤其适用于需要高严谨性的科学领域，如生物学、物理学、化学等，其中问题的可证伪性直接决定实验设计的有效性。
此外，该工作提示LLM科学智能体的设计不应仅关注生成结果的质量，更应关注生成过程的逻辑约束。显式推导约束有望成为未来科学LLM智能体的标准组件。尽管当前评估仍限于LLM评审，但框架的开放性和模块化设计为后续引入人类专家评审、扩展到更广泛的研究主题奠定了基础。如果该方法被广泛应用，可能推动科研范式的转变：从“生成问题”到“生成可审计的问题”，从而减少低质量或误导性研究问题的数量，加速科学发现进程。