WILDTRACE新基准：长文本自然证据推理评估

背景

在长文档问答任务中，模型常需整合分散于文档各处的证据来回答复杂问题。例如，一份事故报告中可能将运行条件、设计缺陷和遗漏的安全检查分别散布在数十个章节；一部小说中人物的真实动机可能只在远离相关情节的场景中才显现。这种源自文档内部的证据整合（source-internal evidence integration）是真实世界长文档分析的核心，然而现有基准测试大多回避了这一挑战。现有的“针尖测试”（needle probes）、植入事实（planted facts）和反向构建的多跳链条（reverse-engineered multi-hop chains）往往嵌入与宿主文本在分布、位置或语域上不一致的证据，使得模型的高性能表现难以区分是源于真正的源文档推理，还是来自分布性伪影（distributional artifacts）。

核心内容

本文提出了 WILDTRACE，一个包含 481 个任务、覆盖 214 篇自然长篇源文档（如技术事故报告和鲜为人知的文学叙事作品）的基准测试。WILDTRACE 中的所有证据链条均来源于文档自身的因果、时间和叙事逻辑，而非人工植入或外部知识。基于 Pearl 的因果层级（Pearl's causal hierarchy）和已有的多跳推理分类学，作者定义了 7 种源内部证据几何形态（source-internal evidence geometries），用以刻画长文档分析阅读中不同的关系推理需求。

WILDTRACE 采用 源优先构建流水线（source-first construction pipeline）：先从文档结构中挖掘候选证据链条，再基于这些链条撰写问题。每个测试项都经过多阶段验证，包括线索必要性（clue necessity）、答案扎根性（answer groundedness）、评分标准忠实性（rubric fidelity）、抗污染性（contamination resistance）和可回答性（answerability）。随着模型越来越多地被用于真实世界的高风险分析任务，简单地“获取信息”与“对自然分散的证据进行推理”之间的差距，已成为长上下文研究下一阶段的关键挑战。

关键要点

• 自然证据链：WILDTRACE 中所有证据链条均来自文档自身的因果、时间或叙事逻辑，而非人为植入或反向构造。
• 7 种证据几何形态：基于 Pearl 因果层级和多跳推理类型学定义，覆盖不同推理需求（如因果链、时序路径、角色动机关联等）。
• 源优先构建流程：先挖掘文档中的候选证据痕迹，再撰写问题，确保问题天然依赖于文档内部分散信息。
• 严格多阶段验证：每条测试项经过线索必要性、答案扎根性、评分标准忠实性、抗污染性和可回答性五重检查。
• 覆盖领域：包括技术事故报告（incident reports）和鲜为人知的文学叙事（lesser-known literary narratives）等自然长篇文本。
• 规模：共 481 个任务，214 篇源文档。
• 核心挑战：模型能否真正理解并整合文档内部自然分散的证据，而非依赖分布性伪影或局部线索。

意义与影响

WILDTRACE 填补了长上下文推理基准测试中的一个重要空白——真实世界文档分析中，关键证据往往自然分散而非人为布置。通过要求模型在自然产生的证据链条上进行推理，该基准能够更准确地评估模型在真实高风险场景（如法律文档分析、事故调查、文学内容理解）中的能力。它揭示了当前长上下文模型可能过度依赖文档中局部或分布性线索的风险，并推动了评估方法论从“人为构造证据”向“自然分散证据”的转变。WILDTRACE 定义的 7 种证据几何形态也为后续研究提供了分类框架，有助于系统性地设计与长文档推理相关的新任务。