Evaluating LLM Uncertainty in Long-Form Generation Using Deterministic Ground Truth

背景

随着大语言模型（LLM）生成越来越长的输出，有效的不确定性估计必须在细粒度层面识别错误，而不是直接丢弃整个回答。现有的不确定性评估方法虽然可以工作，但在任何分辨率（从单个 token 到整个生成）上进行评估都极具挑战性，且对标签的完美性高度敏感——这使得零噪声基准成为必要。然而，现有的长文本生成基准大多依赖有错误的标签（如人工标注或自动评估），而不是确定性真实答案（deterministic ground truth），导致不确定性评估的可靠性受到根本性制约。

核心内容

为解决上述问题，论文提出了 Single‑answer Atomic Long‑form Target (SALT) 基准——一套由六个程序化生成的任务构成的基准，每个任务都具有单一的、确定性的长文本真实答案。这使得研究者可以在不依赖外部评判（如人工或 LLM‑as‑judge）的情况下，对正确性、校准性（calibration）和排名（ranking）进行单元级（unit‑level） 评估，单元可以是 token、line 或整个生成。

利用 SALT，论文对 50 多个 LLM 进行了系统性分析，得出以下关键发现：

• 置信度排名（confidence ranking）的退化： 在原子（atomic，即 token 级）分辨率下，大多数模型的置信度排名效果很差，即使同一个模型在更粗的行级（line‑level） 单元上能展现出更清晰的可分离性。说明现有置信度信号在细粒度上失效。
• 原子级干预揭示未来错误的两个可分离驱动因素： SALT 支持在生成过程中对单个原子（token） 进行受控干预（如注入错误前缀）。分析发现，未来错误由两个独立因素驱动：一是来自前缀污染的传播（propagation from corrupted prefixes），主要受全局上下文正确性影响；二是因答案‑上下文长度增加而引起的有限退化（bounded degradation from increasing answer‑context length），即随着生成内容变长，错误率自然上升但幅度有限。
• 推理（reasoning）带来的权衡： 通过 Chain‑of‑Thought (CoT) 提示或在训练中内化推理能力，确实能提升生成准确率，但会显著降低置信度排名的质量——即模型对自身输出中正确与错误部分的排序能力变差。这揭示了一种准确性与不确定性估计之间的 trade‑off。

关键要点

• SALT 基准：六个程序化生成任务，提供确定性长文本真实答案，支持 token/line/全生成三种粒度的精准评估，无需外部评判。
• 置信度排名在原子级失效：50+ LLM 的置信度信号在 token 级分辨率下无法有效区分正确与错误输出，而行级单元则表现出更好的可分离性。
• 未来错误的两个驱动因素：
  • 全局上下文正确性主导的传播：前缀中的错误（如格式偏差、事实遗漏）会沿着生成链条向下扩散。
  • 长度引起的有限退化：即使前缀完全正确，随着生成文本变长，错误率仍会缓慢上升，但增幅有界。
• 推理的 trade‑off：CoT 或训练内化推理提升准确率，但损害置信度排名——模型更“自信”但排序能力下降，可能对风险敏感应用构成隐患。

意义与影响

本文提出的 SALT 基准填补了长文本生成不确定性评估领域中确定性零噪声基准的空白，使得细粒度的校准与排名评估成为可能。其发现对风险关键型应用（如医疗报告生成、法律文档起草、代码生成等）具有直接启示：这些场景不仅需要高准确率，更需要模型能够可靠地定位自身输出中的错误并给出合理的置信度信号。然而，推理能力的引入虽然提升了准确率，却恶化了置信度排名，这意味着实际部署时必须在准确性与不确定性估计之间谨慎取舍。此外，基于原子级干预的错误传播分析为设计更鲁棒的生成策略（如分段验证、动态回溯）提供了理论依据，有助于推动 LLM 在真实世界中的安全落地。