← 返回信息流
技术博客arXiv cs.CL·1 小时前

Bielik模型激活信号能区分实体熟悉度与事实可靠性

原标题：Does Bielik Know What It Doesn't Know? Activation Dispersion Separates Entity Familiarity from Factual Reliability Across Model Scale

速览

波兰Bielik模型通过激活分散度（逆参与比和谱熵）以高AUROC区分已知与虚构实体，且信号在1.5B参数已达上限。但行为事实可靠性随模型规模从1.5B到11B急剧提升，正确回答数从0增至19。模型内部虽有认知，却几乎从不拒绝回答，提示熟悉度与可靠性是不同缩放曲线上的独立现象。

AI 深度解读

背景

大语言模型（LLM）在生成回答时常常产生幻觉（hallucination），尤其当涉及从未在训练数据中出现过的实体时，幻觉率显著上升。一个关键问题是：模型在生成第一个回答 token 之前，其内部激活是否已经“意识到”自己对该实体不熟悉？如果存在这种内部信号，它能否可靠地预测回答的事实准确性？现有研究多关注模型输出的不确定性（如语义熵），但这些方法计算成本高昂，且往往无法区分“实体不熟悉”与“回答错误”这两种不同现象。本文基于波兰语 Bielik 模型家族，系统研究了这一问题。

核心内容

论文使用四个规模的波兰语 Bielik 模型（1.5B、4.5B、7B、11B 参数），覆盖四个实体领域（运动员、城市、作家、音乐家）。每个领域构造了 42 个知名实体、42 个冷门但真实实体、以及 42 个完全虚构的实体，每个实体用一个单句问题询问（例如“哪位运动员赢得了……？”），共生成 504 个提示（prompt）用于每个模型。

核心方法：采用两种无监督、单次前向传播（single-forward-pass）的离散度（dispersion）度量，作用于 SwiGLU 激活函数后 MLP 层的激活值：

  • 逆参与比（Inverse Participation Ratio, IPR）
  • 谱熵（Spectral Entropy）

这两个度量衡量了激活值在特征空间中的“分散程度”。实验发现：

  1. 区分虚构与真实实体：在所有领域和模型规模下，IPR 和谱熵区分知名实体与虚构实体的 AUROC 达到 0.95-1.00；若使用有监督线性探针（linear probe），AUROC 可达 0.99-1.00。
  2. 基线对比：两种离散度度量均显著高于排列置换基线（permutation floor）约 0.70-0.74（经验 p ≤ 1e-3），说明信号不是随机噪声。
  3. 跨层泛化：使用留出层（held-out layer selection）进行验证时，AUROC 仍保持在 0.93-0.99。
  4. 真实实体内部区分：对于知名实体 vs 冷门但真实实体，AUROC 同样达到 0.96-1.00。
  5. 跨实体类型迁移：信号可以跨越实体类别（如用运动员训练的探针检测城市），平均非对角 AUROC 为 0.92-0.99。通过匹配模板的反事实实验表明，唯一的较大下降是由模板本身引起的，而非实体类型差异；信号在注意力头之间分布广泛。
  6. 模型规模与行为可靠性：激活层面的表征信号在 1.5B 模型上已经达到天花板（接近 1.00），但行为层面的事实可靠性却随模型规模急剧提升：在严格的评判标准下，42 个知名运动员中，1.5B 模型完全正确回答 0 个，4.5B 回答 2 个，7B 回答 10 个，11B 回答 19 个。
  7. 已知实体内部的困难：即便模型能区分是否熟悉某个实体，但在已知实体内部区分正确回答和幻觉回答却非常困难——有监督探针的 AUROC 仅 0.93，而离散度度量不比首 token 熵基线更好。
  8. 对比基线：一个需要五倍推理成本、基于五样本语义熵的方法，AUROC 仅达到 0.71-0.83。
  9. 拒绝回答行为：尽管模型内部能够感知到不熟悉，它们几乎从不主动拒绝回答。对 2520 个回答的审计发现，仅有 2 次拒绝（refusal）和 1 次模糊措辞（hedge）。

关键要点

  • 激活离散度是一种高效的实体熟悉度信号：仅需单次前向传播，无需额外推理，即可高精度区分模型是否见过某个实体，AUROC 接近 1.0。
  • 信号与模型规模无关：1.5B 模型与 11B 模型的表征信号同样强，表明“实体熟悉度”在较小模型中已充分编码。
  • 事实可靠性随规模锐利增长：行为层面的准确回答比例从 0%（1.5B）稳步上升到 45%（11B），说明“知道实体”和“能正确回答”是不同现象，后者依赖更大的模型容量。
  • 内部信号难以预测回答正确性：对于已知实体，模型内部激活无法有效区分正确回答与幻觉，有监督方法效果也远低于区分熟悉度时的表现。
  • 现有不确定性方法表现欠佳：语义熵等需要多次采样的方法，不仅计算成本高，效果也不如简单的激活离散度。
  • 模型几乎从不拒答：即便内部知道不熟悉，模型仍倾向于生成错误回应，缺乏“自知之明”的拒绝机制。

意义与影响

  1. 提供低成本幻觉检测手段：IPR 和谱熵这类单次前向传播的度量，可以实时标记模型可能不熟悉的实体，从而在生成回答前进行干预（如检索外挂知识或直接拒答），对部署安全可靠的 LLM 系统具有直接应用价值。

  2. 揭示“知道”与“正确回答”的分离：研究发现，实体熟悉度和事实可靠性遵循不同的缩放曲线。这启示我们不应将模型的事实准确率直接等同于其内部知识广度；进一步提升可靠性可能需要超越参数扩增的其他方式（如更好的推理方法、知识注入等）。

  3. 对自我质疑能力（self-knowledge）的洞察：模型虽然能在激活层面“感知”不熟悉，却不会主动表示“不知道”，这暴露了当前 LLM 在校准和安全性方面的不足。未来研究可探索如何将激活信号接入决策层，实现更可靠的否定回答生成。

  4. 跨领域、跨规模的普适性：实验结果在 4 个实体领域和 4 种模型规模下均高度一致，表明该现象具有广泛性，不限于特定任务或语言（波兰语）。类似方法可迁移到其他语种和模型家族。

  5. 对现有不确定性量化方法的挑战：语义熵等主流方法在区分实体熟悉度上表现甚至不如简单激活度量，且计算开销巨大，提示研究者可能需要重新审视不确定性评估的范式。

相关推荐

查看原文 →arxiv.org