大模型未来置信度蒸馏实现低成本可靠性预测
速览
现有置信度估计多关注完成回答后，忽略过程中信息演化。本文比较回答前FOK与回答后JOL，发现JOL校准更优且线性探针可提取丰富置信度信息。由此提出未来置信度蒸馏，仅用回答前表示即可达到接近回答后的校准效果，样本高效且可跨领域迁移。
AI 深度解读
背景
随着大语言模型（LLM）被广泛应用于置信度感知系统，可靠的置信度估计变得至关重要——下游决策（如检索、工具调用、自适应计算）都依赖于对答案可靠性的准确判断。然而，现有方法大多将置信度视为已生成回答的静态属性，忽略了置信度相关信息在整个回答过程中是如何演变的。本文从时间维度出发，通过对比前沿与开源LLM在解题前（Feeling-of-Knowing, FOK）和解题后（Judgement-of-Learning, JOL）的置信度估计，系统研究了这一动态变化。
核心内容
本研究首先比较了LLM在生成回答之前（基于模型对自身知识的主观感受，即FOK）和生成回答之后（基于对已输出内容的判断，即JOL）所表达的置信度。实验覆盖了多种前沿和开源LLM。结果表明：
- 解题后的置信度（JOL）在标定（calibration）和区分度（discriminability）上一致优于解题前的置信度（FOK）。
- 使用线性探针（linear probes）在模型隐藏层表示上训练所得的分类器，能够提取出比模型显式言语化（verbalise）的置信度丰富得多的相关信息。
基于这一发现，作者提出了**未来置信度蒸馏（Future Confidence Distillation）**方法：利用解题后的正确性探针（post-solution correctness probes）产生的教师置信度估计，来训练一个在解题前隐藏表示上操作的预测器。该预测器在推理时仅需解题前表示，却能恢复解题后置信度所带来的大部分标定改进，且样本效率很高，能够在同一领域内的不同数据集间迁移。
具体而言：
- 教师模型：使用解题后的隐藏表示训练一个正确性探针，该探针对模型回答的正确性进行高置信度预测。
- 学生模型：训练一个轻量级预测器，输入为解题前（或早期生成阶段）的隐藏表示，目标是以教师探针的输出为监督信号，直接预测最终的置信度。
- 推理阶段：模型只需在生成前或生成早期计算一次隐藏表示，即可获得接近解题后置信度质量的估计，避免了完整生成后再做二次计算。
实验中，该方法在多个基准数据集上均表现出与解题后置信度几乎持平的标定误差，并且仅需少量样本即可训练，跨数据集泛化能力良好。
关键要点
- 解题后置信度（JOL）显著优于解题前置信度（FOK）：JOL在标定性和区分度上均有大幅提升，说明模型在生成过程中获得了更丰富的置信度线索。
- 隐藏表示中的置信度信息远超显式言语化：线性探针可以从隐藏状态中提取比模型口头表达更精确、更完整的置信度信号。
- 未来置信度蒸馏的核心思想：用解题后的“好”置信度（通过探针获得）去训练一个仅依赖解题前表示的预测器，从而在不增加推理开销的前提下获得接近解题后水平的置信度。
- 样本高效与领域内迁移：蒸馏预测器仅需少量标注样本（甚至无需真实答案标签，只需探针输出）即可训练，且在同一任务领域（如问答）的不同数据集上表现稳健。
- 推理成本极低：预测器仅在模型前馈过程中提取一层隐藏表示（通常选取最后几层），无需完整生成回答，适合对延迟敏感的应用。
意义与影响
这项研究从根本上改变了LLM置信度估计的设计思路：置信度不应仅被视为对已生成答案的后验反应，而是一个可以在回答过程中被提前捕获的动态信号。未来置信度蒸馏方法提供了一条低成本、高可靠的实践路径，使得LLM在生成之前或生成早期就能给出接近最终答案质量的置信度判断。
实际应用方面：
- 检索增强生成（RAG）：可在检索前利用预测器判断模型是否“知道”答案，从而决定是否启动检索，避免不必要的检索开销。
- 自适应计算：对于低置信度的请求，可分配更多计算资源（如多次采样、逐步推理）；高置信度请求则快速响应。
- 工具调用决策：模型可基于预解置信度决定是否调用外部工具，减少对真实环境的过度依赖。
- 安全与对齐：更精确的置信度有助于识别模型可能出错的情况，提升可解释性和信任度。
从研究角度看，本文首次系统揭示了LLM置信度的时间演化特性，并提出了切实可行的蒸馏框架，为未来在更多复杂任务（如多步推理、长文本生成）中实现实时、可靠的置信度估计奠定了基础。该方法不改变现有模型架构，仅需在训练时添加一个轻量级探针和蒸馏损失，易于集成到现有部署流水线中。