LLM 不知其所不知：通过跨模型归因差异检测临床表格数据中的认知盲区

背景

大语言模型（LLMs）正被越来越多地应用于结构化临床数据（如电子健康记录、实验室检查结果等表格数据）的处理任务中。然而，尽管 LLM 在自然语言处理领域表现出色，但其在处理结构化、非文本类数据时的表现仍存在巨大争议。

一个核心且尚未被充分探索的问题是：LLM 是否能够识别自身在特定任务上的知识边界？ 换句话说，当模型面对它“不知道”或“不确定”的情况时，它能否像人类专家一样表现出合理的“认知谦逊”？目前的通用做法往往依赖模型输出的置信度分数（verbalized confidence），但这在结构化数据任务中是否有效，尚缺乏实证研究。

本研究旨在通过**跨模型归因差异（Cross-Model Attribution Divergence）**这一新视角，来减少结构化任务中的认知不确定性（epistemic uncertainty）。研究团队选取了 Qwen 2.5 7B（一种开源大语言模型）与 XGBoost（一种经典的机器学习表格数据算法）作为对比对象，在临床预测任务中分析两者的归因分歧，以评估 LLM 的自我认知能力。

核心内容

研究团队通过对比 Qwen 2.5 7B 和 XGBoost 在临床表格数据预测任务中的表现，重点分析了“归因分歧”（即模型做出预测所依据的特征重要性差异），并得出了四项关键发现。

1. LLM 的口头置信度在认识论上是空洞的

研究发现，LLM 输出的置信度分数（verbalized confidence）并不能真实反映其预测质量。无论模型的实际准确率是较低的 49% 还是较高的 75.3%，其输出的置信度始终保持在近乎恒定的高位区间（0.856 - 0.937）。 这表明，LLM 的置信度输出主要是在追踪提示词（prompt）的格式，而非预测结果的质量。这种“盲目自信”使得口头置信度无法作为判断模型可靠性的依据。

2. LLM 表现出“逆难度效应”（Inverse Difficulty Effect）

在对比 LLM 与传统机器学习模型 XGBoost 时，研究观察到一个反直觉现象：

• 当任务对 XGBoost 极易时（XGBoost 准确率达 99%），LLM 的准确率反而大幅下降至 64.8%。
• 当任务对 XGBoost 存在中等不确定性时，LLM 的表现则与 XGBoost 相当（73.8% vs 73.1%）。

这种“逆难度效应”表明，LLM 在面对传统算法表现完美的高置信度样本时，反而容易出错；而在传统算法也感到困惑的模糊地带，LLM 凭借其对语义和上下文的理解能力，能提供与专业算法相当的性能。

3. 少样本示例与 SHAP 特征证据是正交且超加性的干预手段

研究引入了一种无需训练（training-free）的干预策略，结合了两种信息源：

1. 少样本示例（Few-shot examples）：在提示词中提供少量正确推理的示例。
2. SHAP 派生的特征证据：利用 SHAP 值解释 XGBoost 的特征重要性，并将其作为证据提供给 LLM。

这两种干预手段是正交的（相互独立）且超加性的（1+1>2）。实验数据显示，引入这两种干预后：

• 归因分歧得分（ADS, Attribution Disagreement Score） 从 1.54 显著降低至 0.38。ADS 越低，表示 LLM 的推理依据与可靠的机器学习模型越一致。
• 预测准确率 从 49% 提升至 75.3%。 这一结果证明，通过外部可解释性信号引导 LLM，可以显著改善其在结构化数据上的表现，而无需重新训练模型。

4. 基于归因差异的跨模型校准器有效降低了校准误差

研究提出了一种跨模型校准器（Cross-Model Calibrator），利用归因差异信号来评估 LLM 的可靠性，从而替代无用的口头置信度。

• 机制：该校准器不访问模型内部参数，也不需要重复推理（repeated inference），而是通过比较 LLM 与 XGBoost 的归因差异来生成针对特定患者（patient-specific）的可靠性估计。
• 效果：期望校准误差（Expected Calibration Error, ECE）从 0.254 大幅降低至 0.080。

这意味着，通过这种外部校准方法，我们可以更准确地知道 LLM 在每一个具体预测上是否可信，从而弥补 LLM 在结构化数据任务中缺乏“自我意识”的缺陷。

关键要点

• 口头置信度失效：LLM 在结构化数据任务中输出的置信度分数（如 0.9）是“认识论空洞”的，无法反映真实准确率，仅反映提示格式。
• 逆难度效应：LLM 在经典算法（如 XGBoost）表现完美的简单任务上表现较差，而在算法本身不确定的中等难度任务上表现良好。
• 无需训练的改进：结合少样本提示（Few-shot）和 SHAP 特征解释，无需微调即可将 LLM 准确率从 49% 提升至 75.3%，并大幅降低与基准模型的归因分歧。
• 外部校准优于内部自省：通过比较 LLM 与传统模型的归因差异来构建校准器，能显著降低期望校准误差（ECE），提供比模型自报置信度更可靠的可靠性估计。
• 冷启动问题：研究将 LLM 在结构化数据上的困境框架化为一个“冷启动”问题，即 LLM 缺乏对结构化数据分布的先验知识，需要通过外部信号（如归因对齐）来建立初步的认知边界。

意义与影响

这项研究对 LLM 在医疗等高风险领域的应用具有重要的警示和指导意义：

1. 打破“幻觉”迷思的新路径：传统上，人们认为 LLM 的幻觉源于训练数据的噪声或生成机制的缺陷。本研究指出，LLM 在结构化数据上的失败部分源于其无法识别自身的认知盲区（Epistemic Blind Spots）。通过跨模型归因差异，我们可以量化这种盲区。
2. 人机协作的新范式：研究结果支持“混合智能”架构。即不单独依赖 LLM，也不单独依赖传统机器学习模型，而是利用两者的互补性——XGBoost 提供稳健的特征归因作为“锚点”，LLM 提供语义理解和上下文推理能力。通过归因对齐，可以激发 LLM 的潜在能力。
3. 可解释性即安全性：SHAP 等可解释性技术不仅是为了解释黑盒模型，更是作为提升 LLM 可靠性的关键干预手段。将可解释性信号注入 LLM 的推理过程，是一种低成本、高效率的提升模型鲁棒性的方法。
4. 迈向真正的“认知自觉”：目前 LLM 的“自信”往往是虚假的。本研究提出的跨模型校准器为构建具有真正“认知自觉”（Epistemic Self-Awareness）的 AI 系统提供了一条可行路径。在临床决策支持系统中，能够准确报告“我不知道”或“我不确定”的模型，比盲目自信的模型更具临床价值和安全保障。

总之，该研究揭示了 LLM 在处理结构化数据时的根本局限，并提出了通过外部归因对齐来解决这一问题的有效方案，为未来构建更可靠、可解释的医疗 AI 系统奠定了基础。