检测基于大语言模型的知识图谱推理中的幻觉

来源：arXiv cs.CL 提交日期：2026年4月27日

背景

知识图谱（Knowledge Graph, KG）推理旨在从现有事实中推断出新知识，这一技术在问答系统、推荐引擎以及决策支持等领域有着广泛的应用。随着大语言模型（Large Language Models, LLMs）的飞速发展，基于 LLM 的知识图谱推理框架因其能够利用检索到的 KG 信息而日益流行。

然而，LLM 中普遍存在的“幻觉”（Hallucinations）问题依然是一个关键瓶颈。即使模型在推理过程中融入了相关的 KG 知识，它们仍可能生成错误的输出，从而导致信息误导和不可靠的决策。

现有的幻觉检测方法主要存在两个局限：

1. 侧重于分析 LLM 的内部状态；
2. 侧重于验证生成内容与检索上下文之间的一致性。

这两种方法都忽略了 KG 中至关重要的结构信息，导致其在检测基于 KG 的推理幻觉时性能欠佳。为了填补这一空白，研究人员提出了一种新方法，旨在更准确地识别此类场景下的幻觉。

核心内容

为了解决上述问题，研究团队提出了 LUCID（the first halLUcination deteCtIon method for LLM-based knowleDge graph reasoning frameworks），这是首个专门针对基于大语言模型的知识图谱推理框架设计的幻觉检测方法。

LUCID 的核心创新在于它联合利用了以下三个维度的信息：

1. LLM 的注意力分数（Attention Scores）
2. KG 的语义信息（KG Semantics）
3. KG 的结构信息（Structural Information）

具体实现机制如下：

• 特征提取：LUCID 从 LLM 的注意力分数中提取节点和边的特征，并结合语义相似度进行计算。
• 图神经网络整合：提取出的特征随后与 KG 的结构信息相结合，通过图神经网络（Graph Neural Network, GNN）进行整合处理。这种设计使得模型能够同时捕捉语义关联和拓扑结构，从而更精准地判断推理结果是否可信。

此外，为了评估该方法的有效性，研究团队还构建了经过人工标注的基准数据集。

关键要点

• 首创性：LUCID 是首个专为 LLM 驱动的 KG 推理框架设计的幻觉检测工具。
• 多模态融合：不同于仅关注文本一致性或内部状态的传统方法，LUCID 融合了注意力机制、语义相似度和图结构信息。
• 技术架构：利用图神经网络（GNN）将提取的节点/边特征与 KG 结构进行深度整合。
• 评估基准：构建了全新的人工标注基准数据集，填补了该领域评估资源的空白。
• 性能表现：在九个不同数据集上的实验表明，LUCID 的性能优于 15 种基线方法，达到了当前最佳水平（State of the Art）。

意义与影响

这项研究解决了当前 AI 应用中一个至关重要的可靠性问题。在基于 LLM 和 KG 的混合推理系统中，仅仅依靠语义一致性往往不足以发现深层的逻辑错误，因为 KG 的结构约束（如实体间的关系类型、路径连通性等）提供了额外的验证维度。

LUCID 的提出意味着：

1. 提升决策可靠性：通过更准确地检测幻觉，可以显著减少因错误推理导致的误导信息，特别是在医疗、金融等高风险决策支持场景中。
2. 推动 KG 与 LLM 的深度融合：证明了利用 KG 的结构信息可以有效弥补 LLM 在逻辑推理上的不足，为未来构建更可信的混合智能系统提供了新的技术路径。
3. 标准化评估：新构建的人工标注数据集为后续研究提供了统一的评估基准，有助于推动该领域的标准化发展。