IdeaTrail发布科学创意全流程智能体轨迹数据集

背景

科学研究并非单一的文本生成行为，而是一个涉及多个阶段的复杂工作流。从文献检索、论文阅读、工具使用、事实核查、跨论文综合、头脑风暴、弱方向淘汰，到迭代写作，整个创想（ideation）过程需要多种认知与工具操作的协同。然而，现有数据集往往只捕捉这一流程中的某个孤立的环节（例如仅记录最终摘要或单步推理），缺乏同时记录工具使用、证据获取、中间产物演化以及最终想法或提案级别输出的完整过程数据。这一缺口限制了科研智能体（agent）训练数据的丰富性和过程监督（process supervision）能力。为此，本文提出了 IdeaTrail——一个面向科学创想与提案生成的多轮过程轨迹数据集，旨在填补这一空白。

核心内容

IdeaTrail 是一个多轮（multi-turn）过程轨迹数据集，专注于科学创想与提案生成。每个实例记录从证据收集到想法选择或提案构建的完整研究过程。其核心设计思路是：不自由虚构轨迹，而是从人类筛选的高质量研究论文和提案产物（proposal artifacts）出发，采用 Generator–Advisor 合成循环。

具体而言：

• Generator（生成器）：负责生成可见的轨迹，包括动作（actions）、观察结果（observations）以及产物的编辑（artifact edits）。
• Advisor（顾问）：拥有完整的生成上下文，对 Generator 的轨迹进行监督，检查其基于事实的支撑性（grounding）、因果顺序（causal order）、自然性（naturalness）以及是否因隐藏目标而泄露信息（leakage from hidden targets）。

这种 逆向到正向（reverse-to-forward） 的过程：先以人类高质量论文/提案为终点，逆向设计出合理的推理步骤，再正向生成多轮交互轨迹。这样产生的数据既能与真实科学产物对齐，又能近似地反映研究实践中存在的不确定性、证据使用方式以及阶段性收敛特征。

IdeaTrail 不仅提供一个数据集，还提供一套通用的配方（recipe），用于为科学研究智能体合成过程监督数据。

关键要点

• 数据集定位：首个同时记录工具使用、证据获取、中间产物演化以及想法/提案级别终点的多轮过程轨迹数据集。
• 数据生成机制：基于人类筛选的高质量论文和提案，采用 Generator–Advisor 双向校验的循环，确保轨迹真实、连贯、无信息泄露。
• Advisor 的四项检查：
  • Grounding（事实支撑）：每一步是否基于真实证据或合理推理。
  • Causal order（因果顺序）：动作与观察的先后逻辑是否合理。
  • Naturalness（自然性）：轨迹是否像真实科研过程那样存在犹豫、回溯、收敛等行为。
  • Leakage from hidden targets（隐藏目标泄露）：确保 Generator 没有提前知道终点而“作弊”。
• 输出形式：每个实例包含从证据收集到想法选择或提案构建的完整多轮交互记录。
• 通用性：提供一条可复用的合成路线，可用于其他领域的科学智能体过程监督数据生成。

意义与影响

1. 弥补过程监督数据的缺失：当前大模型在科研任务中多依赖最终输出进行微调，缺乏对中间推理步骤的显式监督。IdeaTrail 提供的高质量多轮轨迹可提升智能体在科研场景中的可解释性和稳健性。

2. 推动科研智能体的训练：通过逆向-正向合成方法，可以低成本生成大量符合真实科研流程的训练数据，促进智能体学习文献检索、工具调用、假设验证、迭代写作等复合技能。

3. 建立评估基准：该数据集可作为科学创想与提案生成任务的评估基准，衡量智能体在完整流程中的表现，而非仅考核最终文本质量。

4. 启发更多跨领域应用：所述 Generator–Advisor 循环和逆向合成策略可以迁移至法律、医学诊断、工程设计等其他复杂推理领域，帮助生成过程监督数据。

5. 强调过程而非结果：论文理念呼应了当前 AI 领域对“过程奖励模型”和“思维链监督”的关注，为将科研思维过程显式建模提供了具体的数据基础。