VERITAS通用科研复制工具发布，自动化验证论文结果
速览
VERITAS是一个领域无关的复制框架，利用CLI编码代理自动完成论文复现。它从文献中提取主张，执行方法并解决运行中的问题，根据实验结果评判每条主张。该框架在65篇涵盖计算机科学、社会科学、医学和天体物理学的论文上取得领先性能。相比现有基准方案，VERITAS在所有指标上实现最优表现，为科研可重复性提供了通用自动化工具。
AI 深度解读
背景
近年来，人工智能工具极大地加速了科学论文的发表速度，但同行评审系统却难以跟上这一节奏。与此同时，对已发表研究的独立验证变得比以往更加困难，却也更加重要。手动复现实验不仅耗时昂贵，而且难以规模化。为此，研究人员开始尝试使用编码智能体（coding agents）来自动化部分复现流程。然而，现有的努力大多被封装为基准测试（benchmark）及其配套智能体，这些智能体仅能在基准测试自身的管道内运行，尚未出现一个通用的、领域无关的复现工具。这一缺口促使了 VERITAS 的诞生。
核心内容
VERITAS 是一个领域无关的科研复现框架，其核心围绕 CLI 编码智能体（CLI coding agents）构建。给定一篇论文、一个代码仓库，或两者兼有，VERITAS 能够自动提取论文中提出的声明（claims），运行论文所述的方法，并在执行过程中实时解决遇到的问题，最后将实验产生的证据与每条声明进行比对判断。整个管道最终会返回三个输出：一个基于重要性加权的复现分数（Replication Score）、一份按严重性评级记录每次修复操作的日志，以及经过修补的完整代码库。
为了评估 VERITAS 的性能，研究团队在 CORE-Bench 和 ReplicationBench 两个基准测试上进行了实验，共涉及 65 篇论文，覆盖计算机科学、社会科学、医学和天体物理学四个学科。以两个基于 Claude Code 的强基线作为对比（基于相同模型和主机环境），VERITAS 在两项基准测试的每一项指标上都达到了最优性能（state-of-the-art），全面领先。
关键要点
- 通用性：VERITAS 设计为领域无关，能够处理计算机科学、社会科学、医学、天体物理学等多学科的研究论文。
- 端到端自动化：从提取论文声明，到运行方法并动态修复问题，再到基于实验证据判断声明真伪，全流程无需人工干预。
- 输出可追溯：返回重要性加权的复现分数、每次修复的严重性日志，以及最终修补的代码库，提供完整的可审计记录。
- 基于 CLI 智能体：框架构建在 CLI 编码智能体之上，不依赖特定基准测试的内部管道，具备可迁移性。
- 性能领先：在与两个基于 Claude Code 的强基线对比中，VERITAS 在 CORE-Bench 和 ReplicationBench 上均获得全部指标的最佳结果。
- 覆盖广泛：验证集包含 65 篇论文，跨四个学科，体现了框架的稳健性与泛化能力。
意义与影响
VERITAS 填补了科研复现领域缺乏通用工具的空白。以往，自动化复现工作往往被限定在特定基准测试的封闭环境中，无法直接应用于新论文。VERITAS 的领域无关设计使其能够被研究团队直接用于验证任意论文的代码和结果，有望大幅降低独立复现的成本和时间。随着 AI 工具加速论文产出，可靠的自动复现系统将成为维护科学可信度的关键基础设施。VERITAS 在多个学科上的优异表现也表明，基于 CLI 编码智能体的方法足以应对不同领域的方法论差异，为未来更大规模的复现自动化铺平了道路。此外，其输出中修复日志和修补代码库的功能，有助于作者与验证者之间形成可追溯的反馈闭环，促进代码质量与可重复性的提升。