← 返回信息流
技术博客arXiv cs.CL·2 小时前

自我对弈新框架HSP提升幻觉检测

原标题：Hallucination Self-Play: Bootstrapping Reinforced Detector via Evolved Generator

速览

HSP框架将同一基础模型初始化为检测器和生成器，检测器先微调后作为奖励模型通过RLAIF训练生成器产生更难检测的幻觉，进化后的生成器再合成数据优化检测器。实验表明，该方法使小模型在RAGTruth基准上匹配甚至超越先进大模型，无需外部监督。

AI 深度解读

背景

大型语言模型（LLM）的广泛应用中，输出内容的忠实性（faithfulness）问题——即“幻觉”现象——是制约其可靠性的核心挑战。LLM 可能会生成看似合理但与事实或上下文不一致的内容，导致信息误导。准确识别这类忠实性幻觉需要高质量的标注数据，然而此类数据的获取成本极高，且人工标注难以覆盖多样化的错误类型。

现有方法通常依赖更强的高级 LLM（如 GPT-4）来合成训练数据，包括推理过程、标签以及有幻觉的声明。然而，这些方法将数据生成器视为静态组件——生成器一旦完成数据合成便不再参与迭代，检测器只能被动接收固定难度的训练样本。这种静态机制限制了检测器对不断演化的幻觉模式的适应能力。针对这一局限性，本文提出一种全新的自对弈（self-play）框架，使检测器能够与一个不断进化的生成器协同改进，从而在无需外部持续监督的条件下提升幻觉检测性能。

核心内容

论文提出 Hallucination Self-Play（HSP） 框架，其核心思想是让检测器（Detector）和生成器（Generator）从同一基础模型初始化，通过交替进化实现自举式提升。

具体流程分为两个阶段循环：

  1. 阶段一：检测器与生成器初始化
    检测器首先在少量人工标注数据上进行微调，获得初步的忠实性评估能力。随后，该检测器被用作奖励模型（reward model），通过 RLAIF（Reinforcement Learning from AI Feedback） 方法训练生成器。生成器的目标是产生“难以被当前检测器识别的幻觉响应”——即那些表面合理但实际包含不忠实内容的样本。通过强化学习，生成器学会生成更复杂、更隐蔽的幻觉模式。

  2. 阶段二：生成器促进检测器进化
    进化后的生成器（evolved generator）系统性地合成一大批幻觉训练数据，包括正确/错误的样本以及推理理由。这些数据通过基于规则的强化学习（rule‑based reinforcement learning）进一步优化检测器。规则化的奖励信号（例如显式的忠实性约束）确保检测器在增强对困难幻觉识别能力的同时，不会丢失对简单样本的判断力。

上述两个阶段构成一个闭环：检测器变强 → 生成器被训练得更狡猾 → 生成器产出更难的数据 → 检测器再次迭代提升。整个过程无需外部额外的人工标注或更高级的模型干预，模型内部自我进化。

实验验证

论文在 RAGTruth 基准（一个专门评估检索增强生成中忠实性的数据集）以及两个模型家族（如 Llama 系列、Mistral 系列）上进行了实验。结果显示：

  • 一个小型 LLM（例如 7B 参数）经过 HSP 自对弈训练后，其幻觉检测能力可以逐步匹配甚至超越未经过此流程的更大模型（如 70B 参数）。
  • 检测器在多个难度级别上均表现出持续改善，对边界幻觉（borderline hallucination）的识别尤其有效。
  • 代码已开源（原文附有链接）。

关键要点

  • 自对弈（Self‑Play）结构：检测器和生成器源自同一基础模型，通过互相博弈实现协同进化，打破传统生成器静态的局限。
  • RLAIF 训练生成器：利用当前检测器作为奖励模型，通过强化学习从 AI 反馈中训练生成器，使其产出更难被发现的幻觉样本。
  • 基于规则的强化学习优化检测器：生成器合成数据后，检测器通过规则化的奖励信号（而非依赖纯人类标注）进行再训练，保证改进的稳定性。
  • 无需外部高级模型监督：整个框架只依赖初始少量人工数据，后续迭代完全在模型内部完成，极大降低对 GPT‑4 等昂贵资源的依赖。
  • 小模型越级竞争：7B 级别的小模型通过 HSP 可达到或超过 70B 级别大模型的幻觉检测能力，显著提升资源效率。

意义与影响

  1. 方法论创新：HSP 将自对弈思想引入 LLM 幻觉检测领域，为数据生成与模型训练的闭环迭代提供了通用范式。这种“检测器‑生成器”竞相提升的思路在对抗性训练和强化学习社区已有先例（如 GANs、AlphaGo），但在语言模型忠实性检测上是首次系统性应用。

  2. 降低数据门槛：依赖少量人工种子数据即可启动迭代，后续通过模型自产高难度训练样本，缓解了 LLM 幻觉检测领域长期面临的标注数据稀缺问题，有望加速该领域在垂直场景（如医疗、法律、金融）的落地。

  3. 推动小模型实用化：传统观点认为幻觉检测需要大模型的涌现能力，HSP 证明小模型通过针对性自对弈可以逼近甚至超越大模型，这对于资源受限的部署环境（如边缘设备、隐私敏感场景）具有重要意义。

  4. 潜在风险与局限：生成器优化的目标是“产生更难检测的幻觉”，理论上可能引导模型主动学习更隐蔽的不忠实模式，若控制不当可能反噬检测器。论文通过基于规则的奖励信号加以约束，但泛化边界仍需进一步研究。此外，实验仅在 RAGTruth 一个基准上进行，真实场景的多样性有待检验。

  5. 未来方向：该框架可扩展至其他评估任务（如事实一致性、偏见检测），并可能与主动学习、课程学习结合，进一步提升自对弈的效率和稳定性。

相关推荐

查看原文 →arxiv.org