← 返回信息流
技术博客arXiv cs.CL·7 天前

DecomposeRL：为半监督、可追溯的声明验证学习提出有用、信息丰富且多样化的问题

原标题：DecomposeRL: Learning to Ask Useful, Informative, and Diverse Questions for Semi-Supervised, Traceable Claim Verification

速览

该研究提出DecomposeRL，一种兼具高精度与可追溯性的声明验证模型，解决了端到端方法不可解释与分解方法性能不足的矛盾。通过强化学习策略与数据蒸馏漏斗，仅用5K精选数据训练的7B模型性能媲美32B基线及GPT-4.1-mini。在半监督设置下，该模型仅需10%标注数据即可超越基线，显著降低训练成本并提升泛化能力。

AI 深度解读

DecomposeRL：通过强化学习实现可追溯且高效的半监督声明验证

背景

在事实核查（Fact Verification）和声明验证（Claim Verification）领域，目前存在两种主要的方法论流派，二者各有优劣：

  1. 端到端分类器（End-to-end Classifiers）：这类方法通常准确率较高，但缺乏可解释性。它们像是一个“黑盒”，虽然能给出验证结果，却无法提供可供人类检查或审计的推理痕迹（inspectable traces）。
  2. 基于分解的方法（Decomposition-based methods）：这类方法通过将复杂声明拆解为多个子问题来生成可追溯的推理路径，因此具有良好的可解释性。然而，它们在基准数据集上的性能通常落后于端到端方法。

现有的研究痛点在于，如何在保持高准确率的同时，实现推理过程的可追溯性？此外，传统的基于分解的方法往往面临训练成本高昂、依赖大量标注数据的问题。

核心内容

为了解决上述矛盾，研究人员提出了 DecomposeRL。这是一个基于强化学习（Reinforcement Learning, RL）的声明验证器，旨在同时实现高精度和可追溯性。

1. 核心机制：将分解视为强化学习策略

DecomposeRL 将声明分解的过程建模为一个强化学习策略（RL policy）。该策略通过 GRPO（Group Relative Policy Optimization，组相对策略优化）进行训练，并采用多面奖励集成（multi-faceted reward ensemble）机制。

这种设计使得模型能够学习到如何提出“有用、信息丰富且多样化”的问题。通过这种方式，DecomposeRL 不仅支持全监督学习，还支持从未经标注的声明中进行半监督学习。

2. 解决训练成本问题：数据筛选漏斗

GRPO 训练通常伴随着极高的计算和数据成本。为了克服这一障碍，DecomposeRL 引入了一种**数据筛选漏斗（data-curation funnel）**机制。

该机制从原始的 115,000 条事实验证声明中，蒸馏出一个紧凑的、富含学习信号（learning-signal-dense）的子集，仅包含 5,000 条精选声明。这一过程极大地降低了训练所需的标注数据量，同时保留了关键的学习信号。

3. 实验结果与性能表现

研究人员在一个包含 70 亿参数（7B）的 DecomposeRL 模型上进行了测试，结果令人瞩目：

  • 全监督设置：仅使用约 5,000 条精心策划的标注声明进行训练，该模型在 11 个涵盖生物医学、政治、科学和通用领域的声明验证基准测试中，取得了以下平衡准确率（Balanced Accuracy）：
    • 域内（In-domain）准确率：86.3%
    • 域外（Out-of-domain）准确率：69.8%
  • 模型规模对比：尽管 DecomposeRL-7B 的参数量仅为基线模型和 GPT-4.1-mini 的 1/4，但其性能却能与这些 32B 参数的大模型相媲美。
  • 半监督优势：在仅使用 10% 标注数据的半监督设置下，DecomposeRL 的性能进一步超越了基线模型。

关键要点

  • 双重目标达成：DecomposeRL 成功结合了端到端方法的高准确性和基于分解方法的可追溯性，生成的验证过程包含可检查的推理痕迹。
  • RL 驱动的问题生成：通过 GRPO 和多面奖励集成，模型学会了生成高质量、多样化且信息丰富的子问题，从而提升验证效果。
  • 极致的数据效率：通过数据筛选漏斗，将 115K 条数据浓缩为 5K 条高价值数据，实现了“小数据，大性能”。
  • 小模型大能力：7B 参数的 DecomposeRL 在多项基准测试中击败了 32B 参数模型及 GPT-4.1-mini，证明了其在资源受限场景下的高性价比。
  • 半监督学习潜力：在仅有 10% 标注数据的情况下，DecomposeRL 依然能保持优于基线的性能，显示出其在数据稀缺场景下的强大适应能力。

意义与影响

DecomposeRL 的提出对事实核查和自然语言处理领域具有深远意义：

  1. 提升可信 AI 的可解释性：在医疗、法律和政治等高风险领域，黑盒模型的决策往往难以被接受。DecomposeRL 提供的可追溯推理路径，使得 AI 的决策过程透明化，有助于建立用户信任并满足合规性要求。
  2. 降低部署门槛：通过证明小参数模型（7B）可以匹敌大参数模型（32B+）的性能，DecomposeRL 降低了高性能事实核查系统的硬件要求和部署成本，使得在边缘设备或资源有限的环境中运行复杂推理任务成为可能。
  3. 优化数据标注流程：其引入的数据筛选漏斗机制为其他 NLP 任务提供了参考，展示了如何通过智能数据选择来减少对大规模人工标注数据的依赖，从而加速模型迭代并降低数据获取成本。
  4. 推动半监督学习发展：DecomposeRL 在半监督设置下的优异表现，为解决标注数据稀缺问题提供了新的思路，特别是在那些难以获取大量高质量标注数据的垂直领域（如专业科学文献验证）。

代码、数据和模型已在相关平台开源，促进了该领域的进一步研究和应用。

相关推荐

查看原文 →arxiv.org