量化上下文学习中的偶然不确定性：为 LLM 预测置信度提供稳健度量

背景

大语言模型（LLM）通过上下文学习（In-Context Learning, ICL）展现出强大的能力，仅需少量示例即可适应新任务。然而，这种能力的可靠性一直备受质疑。LLM 的预测结果对提示词设计（prompt design）以及模型理解上下文的能力高度敏感。这种敏感性导致我们难以区分模型失败的根本原因：是数据本身的固有噪声或模糊性（即数据属性），还是模型自身知识或能力的局限（即模型局限性）。

在机器学习领域，不确定性分解（Uncertainty Decomposition）是一个经典且至关重要的概念，旨在将不确定性分为两类：

1. 偶然不确定性（Aleatoric Uncertainty）：源于数据本身的噪声或固有随机性，无法通过增加数据量来消除。
2. 认知不确定性（Epistemic Uncertainty）：源于模型知识的不足，可以通过更多训练数据或更好的模型架构来减少。

尽管不确定性分解对于理解模型行为至关重要，但现有的方法主要针对标准生成任务设计，无法捕捉 ICL 独特的动态机制。因此，缺乏一种能够准确量化 ICL 中偶然不确定性的方法，限制了我们对 LLM 预测置信度的稳健评估。

核心内容

为了解决上述问题，研究团队提出了一种基于贝叶斯视角和 ICL 机制可解释性的新方法，旨在直接估计 ICL 过程中的偶然不确定性。

1. 自函数向量（Self-Function Vectors）

该方法的核心创新在于引入了“自函数向量”这一概念。

• 理论基础：基于贝叶斯推断和 ICL 的机制可解释性（mechanistic interpretability）。
• 工作原理：自函数向量利用模型内部的表示（internal model representations）来建模在上下文提示（in-context prompting）期间学习的潜在概念（latent concept）。
• 优势：这种方法允许在贝叶斯框架内直接估计偶然不确定性，从而避免了对脆弱且不可靠的输入扰动或解码操作（decoding manipulations）的依赖。传统的置信度估计方法往往依赖于对输入进行微小扰动或改变解码策略，这些方法在 ICL 场景下往往表现不稳定。

2. 首个严谨的评估协议

鉴于目前缺乏针对 ICL 不确定性量化的基准测试和合适的评估协议，研究团队提出了第一个严谨的评估框架。

• 数据操控：在该协议中，数据以受控的方式进行操纵，以便精确地将偶然不确定性从认知不确定性中分离出来进行量化。
• 验证流程：
  1. 合成任务：最初在合成任务上建立概念基础，验证方法的有效性。
  2. 真实数据集：随后将方法扩展到真实世界的数据集，以证明其在实际应用中的鲁棒性。

3. 实验结果与应用

通过新的评估框架，研究团队证明了其提出的方法在衡量 ICL 下的 LLM 预测不确定性方面，比现有的替代方法更加可靠。此外，该方法被证明可以作为实际工具用于与可信 AI 相关的应用，例如：

• 幻觉检测（Hallucination Detection）：通过准确识别模型因数据固有噪声或模糊性而产生的不确定性，帮助区分模型是“不知道”还是“数据本身有歧义”，从而更有效地检测幻觉。

关键要点

• 问题痛点：现有 ICL 可靠性评估难以区分失败是由数据固有噪声（偶然不确定性）还是模型能力不足（认知不确定性）引起的。
• 核心创新：提出“自函数向量”（Self-Function Vectors），利用模型内部表示建模 ICL 中的潜在概念，直接在贝叶斯框架下估计偶然不确定性。
• 技术优势：摆脱了对易受干扰的输入扰动或解码操作的依赖，提高了估计的稳健性。
• 评估贡献：建立了首个针对 ICL 不确定性量化的严谨评估协议，通过受控数据操纵实现偶然与认知不确定性的分离。
• 验证路径：从合成任务的概念验证扩展到真实数据集的性能证明。
• 实际应用：该方法能更可靠地度量 LLM 预测置信度，并可直接应用于幻觉检测等可信 AI 场景。
• 学术价值：为连接不确定性的定量视图与模型行为的机制理解开辟了新的方向。

意义与影响

这项研究在 LLM 的可解释性和可靠性评估领域具有重要意义。

首先，它填补了 ICL 场景下不确定性量化方法的空白。传统的贝叶斯不确定性估计方法往往假设模型参数是固定的或可以通过标准训练更新，而 ICL 是一种非参数化的适应过程，其不确定性来源更为复杂。自函数向量的提出，为理解模型在“学习”新任务时的内部状态提供了新的视角。

其次，该研究提出的评估协议为学术界和工业界提供了一个标准化的基准。长期以来，LLM 的置信度评估缺乏统一标准，导致不同研究之间的结果难以比较。通过分离偶然和认知不确定性，研究人员可以更精准地诊断模型缺陷，指导后续的模型优化或数据清洗工作。

最后，从应用层面来看，更稳健的置信度度量直接提升了 LLM 在高风险领域（如医疗、法律、金融）部署的安全性。通过准确识别由数据本身模糊性引起的预测不确定性，系统可以避免将“数据歧义”误判为“模型幻觉”，从而在幻觉检测、拒绝回答机制（refusal mechanisms）等方面提供更可靠的决策支持。

总之，这项工作不仅提供了一种新的技术工具，更在理论上深化了我们对大语言模型上下文学习机制及其不确定性来源的理解，为构建更可信、更透明的 AI 系统奠定了重要基础。