SpanUQ实现大模型生成文本跨度级不确定性量化

背景

大型语言模型（LLM）在文本生成任务中展现出强大的能力，但其生成内容的可靠性仍是一个关键挑战。不确定性估计（Uncertainty Estimation）不仅关乎 LLM 的可信部署，更是实现模型自我改进（self-refinement）的基础。然而，现有方法在粒度上存在缺陷：基于 token 粒度的不确定性分数缺乏语义连贯性，而基于序列粒度的分数则无法定位具体错误。为此，研究者提出了一个更自然的不确定性建模粒度——语义连贯的文本跨度（span），每个跨度传达一个可评估的语义单元，从而将不确定性估计从 token 级和序列级提升到 span 级。

核心内容

本文正式定义了Span-Level Uncertainty Estimation（SLUE）这一新任务，目标是在 LLM 生成过程中，对每个语义连贯的文本跨度进行不确定性量化。为完成该任务，作者提出了SPANUQ，一种轻量级探针（probe）方法，能够从昂贵的多采样推理（multi-sample inference）中蒸馏出不确定性知识，并将其压缩到单次前向传播（single forward pass）中，直接利用 LLM 的隐藏状态。

SPANUQ 的核心架构基于 DETR 风格的跨度解码器（span decoder），该解码器能够同时检测跨度并估计其不确定性。具体来说，不确定性通过混合 Beta 分布（Mixture of Beta distribution）建模，训练目标由两个部分构成：Beta 负对数似然回归（Beta NLL regression）和对比排序目标（contrastive ranking objectives），两者经过原则性组合。此外，为了评估 span 级不确定性，作者构建了首个专用基准SPANUQ-BENCH，包含 20,000 条提示、293,000 个标注跨度，以及基于多采样声明验证（multi-sample claim verification）生成的连续软标签（soft labels）。

在五个不同 LLM 骨干上的实验结果表明：

• SPANUQ 在 span 级不确定性质量上持续取得最佳表现，超越最强的探针基线以及所有基于采样的方法。
• 在推理速度方面，SPANUQ 比采样方法快 10-20 倍。
• 其基于 DETR 的跨度检测器在 F1 分数上达到 0.910，比最佳启发式方法高出 39.4%，实现了序列级方法无法提供的精确错误定位。
• 该框架可泛化到两个模型家族、共五个不同的 LLM 上。

关键要点

• 新任务定义：提出 Span-Level Uncertainty Estimation（SLUE），将不确定性量化的粒度从 token 或序列提升到语义连贯的文本跨度，每个跨度对应一个可独立评估的语义单元。
• 轻量探针方法：SPANUQ 是一种轻量级 probe，通过单次前向传播即可从 LLM 隐藏状态中提取不确定性信息，避免了对昂贵多采样的依赖。
• DETR 风格解码器：采用 DETR 式的 span 解码器同时完成跨度检测与不确定性估计，消除了传统启发式分割方法的局限性，并实现了端到端联合优化。
• 混合 Beta 分布建模：不确定性通过混合 Beta 分布进行参数化，训练时结合 Beta 负对数似然回归与对比排序目标，使模型能够学习区分不同置信度的跨度。
• 首个 Span 级不确定性基准：SPANUQ-BENCH 包含大量标注数据，使用多采样声明验证生成连续软标签，为后续研究提供了标准化评估平台。
• 显著性能提升：在五个 LLM 上，SPANUQ 在不确定性估计质量上全面超越现有方法，同时推理速度比采样方法快 10-20 倍；跨度检测 F1 达到 0.910，远超最佳启发式方法。
• 强泛化能力：方法在两个模型家族（如 Llama 系列等）的五个不同 LLM 上均表现一致，表明其不受特定模型架构的限制。

意义与影响

SPANUQ 的工作填补了 LLM 不确定性估计在语义粒度上的空白。通过将不确定性从 token 级和序列级提升到 span 级，该方法不仅提供了更符合人类理解模式的错误定位能力，也使得模型能够基于细粒度的不确定性进行自我反思和修正。这为 LLM 在高风险场景（如医疗、法律、金融）中的可信部署以及自动化文档审查、事实核查等应用奠定了基础。此外，SPANUQ 的轻量设计使其在推理效率上具有显著优势，有望被集成到现有 LLM 生产管线中作为实时不确定性监控模块。该研究同时推动了跨粒度不确定性建模的研究方向，为后续结合 token、span 和序列多级信息的混合方法提供了参考框架。