AgentKGV框架：两阶段训练提升知识图谱事实验证准确率

背景

知识图谱（Knowledge Graph, KG）通常通过自动流水线从大规模语料库中构建，但受限于噪声源和抽取失败，其中不可避免地包含事实错误。在工业级规模下，可靠地验证这些事实仍然是一个关键挑战。传统的基于检索增强生成（RAG）的验证方法往往受限于单轮检索，难以处理查询与文档之间存在的表面形式不匹配（surface-form mismatch），例如实体别名、谓词变体等问题，导致长尾谓词上的验证效果不佳。此外，工业部署对准确性和成本效率有严格要求，需要更智能的检索策略和更小的模型。

核心内容

针对上述问题，论文提出 AgentKGV，一种面向知识图谱事实验证的 Agentic LLM-RAG 框架。该框架整合了动态路由（dynamic routing）与迭代查询重写（iterative query rewriting），以应对文档级检索中的表面形式不匹配。具体而言，AgentKGV 将验证过程建模为多步代理行为：模型根据当前状态决定是否检索、如何改写查询，以及如何综合证据进行推理，从而在检索-推理之间形成闭环。

为了在工业部署中同时提升准确性和降低推理成本，论文进一步引入两阶段训练策略：

1. 基于回合级蒸馏的监督微调（turn-level distillation-based SFT）：将大型教师模型（large teacher model）的推理能力迁移到小型学生模型，使其能够稳定地进行查询重写和推理，而不依赖教师模型在线推理的高昂成本。
2. 基于轨迹的群体相对策略优化（trajectory-level GRPO）：对搜索策略进行优化，从完整验证轨迹层面进行奖励建模，引导模型减少不必要的检索步骤，从而在保持精度的前提下降低检索调用次数。

实验在开放域 T-REx 基准的长尾谓词拆分（long-tail-predicate split）上进行评估。结果表明：

• 相比单轮 RAG，AgentKGV 的 macro-F1 提升了 5.5 个百分点。
• 两阶段训练进一步将 macro-F1 提升 9.4 个百分点。
• GRPO 将平均搜索调用次数从 3.24 次降至 1.63 次，且未降低准确率。

关键要点

• AgentKGV 框架：将 LLM 作为智能体，通过动态路由和迭代查询重写，实现检索与推理的协同，有效解决文档级检索中的表面形式不匹配问题。
• 两阶段训练策略：第一阶段（distillation-based SFT）从大模型蒸馏推理能力至小模型，提升推理稳定性；第二阶段（trajectory-level GRPO）优化检索策略，减少冗余调用。
• 性能提升：在 T-REx 长尾谓词子集上，macro-F1 较单轮 RAG 提升 5.5%，两阶段训练再提升 9.4%。
• 成本效率：GRPO 使平均搜索调用次数从 3.24 降至 1.63，且准确率未下降，适合工业级部署。
• 核心贡献：首次将 agentic 形式化与两阶段训练结合用于知识图谱事实验证，同时兼顾准确性和推理成本。

意义与影响

AgentKGV 为知识图谱自动验证提供了可扩展的工业级解决方案。其核心意义在于：

• 解决检索-推理脱节问题：传统 RAG 通常先检索后一次性推理，难以在检索中融入推理反馈。AgentKGV 通过迭代重写和动态路由，使检索能根据推理中间结果自适应调整，提高了对长尾、复杂事实的验证能力。
• 推动小模型的高效应用：通过蒸馏和策略优化，使得小型模型能够达到接近大模型的验证效果，同时大幅降低推理延迟和成本，为实际部署铺平道路。
• 开辟新的训练范式：两阶段训练中，SFT 专注于知识蒸馏，GRPO 专注于搜索策略优化，两者互补，为类似 agentic 系统的训练提供了可复用的方法论。
• 对知识图谱构建流水线的改进：自动构建的 KG 往往存在大量噪声，AgentKGV 可作为后验验证模块，与自动构建流水线集成，显著提升 KG 的质量和可靠性，尤其适用于工业级大规模图谱。