CORTEX: Token-Level Hallucination Detection in RAG via Comparative Internal Representations

背景

检索增强生成（RAG）技术通过引入外部知识库来缓解大语言模型（LLM）的固有幻觉问题，已成为构建可信 AI 系统的标准范式。然而，在实际的长文本生成场景中，幻觉往往并非均匀分布在整个回答中，而是集中在某些局部的跨度。现有的幻觉检测方法多停留在句子或篇章级别，难以精准定位这些局部幻觉，这不仅限制了 RAG 系统的可靠性，也降低了其可解释性。如何在 Token 级别实现细粒度的幻觉检测，是当前 RAG 领域亟待解决的关键问题。

核心内容

本文提出了 CORTEX，一种面向 RAG 的 Token 级别幻觉检测方法，旨在实现幻觉的细粒度精准定位。

CORTEX 的核心直觉在于：在 RAG 系统中，那些基于检索文档生成的 Token，理应比幻觉 Token