CRAFT：面向表格问答与事实核查的统一反事实推理框架

背景

尽管大型语言模型（LLMs）在自然语言处理领域取得了显著进展，但在处理表格推理任务时仍面临巨大挑战。特别是当任务涉及对长且结构化的表格进行多步推理时，现有模型的表现往往不尽如人意。

目前的主流方法大多依赖于单向推理（single-direction reasoning）。这种范式通常只沿着一条逻辑路径进行推导，限制了模型探索不同假设的能力。在复杂的表格场景中，这种局限性导致模型难以有效区分事实与错误信息，尤其是在需要对比多种可能性的任务中，如表格问答（Tabular Question Answering）和事实核查（Fact Verification）。

为了解决这一痛点，研究人员提出了一种新的思路：引入反事实推理（Counterfactual Reasoning）。通过构建原始陈述及其反事实变体，并双向验证其证据，可以更全面地评估假设的正确性。

核心内容

本文提出了一种名为 CRAFT（Counterfactual Reasoning Framework，反事实推理框架）的统一框架，旨在解决表格推理中的核心难题。CRAFT 将表格问答和事实核查任务重新定义为一种通用的双向验证过程（bidirectional verification process）。

1. 核心机制：双向验证

CRAFT 的核心创新在于它不再仅依赖单一方向的推导，而是显式地构建两种类型的陈述：

• 声明性陈述（Declarative statements）：即原始假设或问题所指向的事实。
• 反事实变体（Counterfactual variants）：对原始陈述进行细微修改后形成的对立或替代假设。

2. 证据提取与整合

在构建好这两类陈述后，模型会沿着原始路径和反事实路径分别进行推理，以提取证据。随后，通过一种加权机制（weighted mechanism）将来自两条路径的证据进行整合，从而得出最终答案。这种机制允许模型在比较不同假设的证据强度时，做出更细致的判断。

3. 统一框架

CRAFT 不仅仅适用于单一任务，它是一个统一框架，能够同时处理：

• 表格问答（Tabular Question Answering）：从表格中提取信息以回答复杂问题。
• 事实核查（Fact Verification）：判断给定陈述是否与表格内容一致。

通过将这两类任务统一为双向验证过程，CRAFT 展示了反事实推理在结构化数据理解中的通用潜力。

关键要点

• 突破单向推理局限：现有方法主要依赖单向推理，限制了模型探索替代假设的能力。CRAFT 通过引入反事实推理，实现了双向验证，显著提升了模型在复杂场景下的表现。
• 显式构建反事实变体：模型不仅分析原始陈述，还显式构建其反事实变体，并通过比较两者的证据来增强推理的鲁棒性。
• 加权证据整合机制：通过加权机制整合来自原始路径和反事实路径的证据，使模型能够更精准地权衡不同假设的支持度。
• 统一任务范式：CRAFT 将表格问答和事实核查统一为双向验证过程，证明了反事实推理在多种结构化推理任务中的通用性。
• 显著的性能提升：在 WikiTQ 和 TabFact 等主流表格推理数据集上的实验表明，CRAFT consistently 超越了具有代表性的基线模型（baselines）。
• 复杂问答优势明显：在复杂问答任务中，CRAFT 带来的性能提升尤为显著，表明其处理多步推理的能力更强。
• 缩小基座模型差距：该框架显著缩小了不同基座大型语言模型（backbone LLMs）之间的性能差距，说明反事实推理能有效弥补不同模型在推理能力上的不足。
• 代码开源：作者承诺在论文被接收后将公开代码，促进社区复现和研究。

意义与影响

CRAFT 框架的提出具有重要的理论和实践意义：

1. 克服推理瓶颈：研究表明，反事实推理能有效克服单向推理的局限性。它引导大型语言模型走向更具辨别力的推理方式（more discerning reasoning），从而在处理需要多步逻辑推导的结构化任务时表现更佳。
2. 建立更原则性的范式：CRAFT 为结构化推理任务建立了一个更原则性（principled）的范式。通过双向验证和证据加权，模型不再盲目跟随单一逻辑链，而是通过对比分析来确认事实，这提高了推理的可解释性和可靠性。
3. 提升模型泛化能力：CRAFT 显著缩小了不同基座模型之间的性能差距，这意味着即使使用能力稍弱的基座模型，通过引入反事实推理框架，也能获得接近顶级模型的表现。这对于降低部署成本和提高模型鲁棒性具有重要意义。
4. 推动表格AI发展：随着企业和社会数据中表格数据的日益增多，高效的表格推理能力至关重要。CRAFT 为提升 LLM 在表格理解、问答和事实核查方面的能力提供了新的有效路径，有望推动相关应用在金融、医疗、法律等高精度要求领域的应用落地。

总之，CRAFT 不仅是一个新的算法框架，更代表了一种从“单向推导”向“双向辩证验证”转变的推理思维，为未来结构化数据推理研究指明了方向。