Graded Entity-Familiarity Readouts in Language Models: Polish Adaptation, Cross-Language Robustness, and Refusal Steering

背景

大型语言模型在生成回答时，常常会输出关于实体（如人物、地点、机构）的不准确或虚构信息。理想情况下，模型应该能够在回答之前“知道自己知道什么”——即对其所提及实体的熟悉程度有一个内省式的评估。然而，现有研究大多关注生成后的幻觉检测，而非生成前的熟悉度估计。本研究探索了在模型激活空间中是否存在可读的、分级的实体熟悉度信号，以及这种信号能否跨语言保持稳定、能否被用于控制模型的拒绝行为。

核心内容

该论文发表于arXiv cs.CL，作者为Grzegorz Brzezinka等人。研究使用了来自Bielik、PLLuM、Gemma-4和Qwen3四个系列的12个指令微调模型，构建了一个包含1,440个波兰实体（横跨四个领域、十个Wikipedia页面浏览量十分位数）的新数据集，并加入了虚构实体作为对照。作者在模型最后一层输入（即最终prompt token）的激活上训练了实体熟悉度探针（familiarity probe），主要发现如下：

• 在所有模型家族中，探针都能有效区分真实实体与虚构实体（AUROC显著）。
• 在波兰语本地化模型Bielik和PLLuM中，探针得分还能追踪实体的流行度（与Wikipedia页面浏览量的Spearman相关系数ρ在0.28–0.57之间），而Gemma-4和Qwen3中该相关性最高仅0.11。这种模式与波兰语适配的关联度比与参数量的关联度更强。
• 跨语言鲁棒性实验：将波兰语问题词干替换为英文（实体名称不变），探针在Bielik和PLLuM两个家族的AUROC保持96–101%，说明在同一任务下，探针对prompt语言的变化不敏感。
• 在唯一原生支持拒绝行为的模型Gemma-4-12B中，通过在单层添加一维的熟悉度方向向量，可以单调地调节拒绝率：对于知名实体，拒绝率可从0.24升至1.00；对于未知实体，可从0.73降至0.00。这表明该方向向量编码了模型内部的“拒绝政策”。
• 比较不同的生成前弃权门控策略，校准后的熟悉度探针表现具有竞争力。但总体而言，生成后的错误检测器在预测行为误差方面平均更优。

该研究证实了存在分级的生成前实体熟悉度读出信号，并揭示了表示层面的熟悉度与将其转化为弃权行为的策略机制之间的分离。

关键要点

• 探针可区分真实与虚构实体：所有12个模型家族的激活探针都能将真实实体与人工构造的虚构实体分开，证明模型内部存在实体真实性表征。
• 波兰语适配模型的熟悉度与流行度相关：仅在经过波兰语本地化训练的Bielik和PLLuM中，探针得分与Wikipedia页面浏览量的相关性显著（ρ=0.28–0.57），而通用模型（Gemma-4、Qwen3）中几乎无相关（≤0.11）。这表明模型对实体熟悉度的编码程度受训练数据语言分布的强烈影响。
• prompt语言更换不影响探针鲁棒性：将波兰语问题替换为英文（实体名称不变），探针AUROC仅下降0–4%（即保持96–101%），说明熟悉度信号主要依赖于实体名称本身，而非句法或语义上下文。
• 单方向向量可控制拒绝行为：在Gemma-4-12B中，对特定层激活添加一个一维熟悉度方向，可单调地调节拒绝率——正向增加拒绝知名实体，负向减少拒绝未知实体。这提供了直接干预模型“是否回答”的简易方法。
• 生成前探针与生成后检测各有优劣：校准后的熟悉度探针作为生成前弃权门控效果不错，但生成后的错误检测器（如基于输出文本的幻觉检测）在平均预测行为误差上更优——说明模型生成后的输出中可能包含更丰富的错误信号。

意义与影响

该研究的核心贡献在于揭示了语言模型在生成回答之前，其内部激活空间中已经存在可量化的、分级的实体熟悉度信息。这一发现具有以下意义：

• 理论意义：证明了模型拥有一种“内隐知识感”（knowledge awareness），并且这种感知识别与模型是否决定拒绝回答的策略是分离的。这为理解模型的行为机制（如何时会产生幻觉、何时会主动拒绝）提供了新视角。
• 实践价值：通过简单的探针或方向干预，可以在生成前预测模型对实体的熟悉度，从而有助于构建更可靠的对话系统——例如，在模型对实体不熟悉时主动引导用户提供更多信息，或直接拒绝回答以减少幻觉风险。
• 跨语言部署启发：由于熟悉度探针在语言切换后仍保持高度鲁棒（至少在本研究的英语-波兰语对中），这意味着同一探针可以用于多语言场景，无需为每种语言重新训练，降低部署成本。
• 局限性：研究仅基于12个模型和波兰语-英语对，结论的泛化性有待进一步验证；生成前探针总体不如生成后检测器准确，表明单纯依赖内部激活可能不足以完全替代输出端校验。

未来工作可探索更大规模、更多语言、更多模型家族的熟悉度信号性质，以及如何将生成前探针与生成后检测器结合以获得更优的幻觉控制效果。