从架构到输出：大语言模型幻觉的结构起源与数据的放大作用

背景

大语言模型（LLMs）在生成流畅且自信的文本时，经常会出现事实性错误，这种现象被称为“幻觉”（Hallucination）。尽管这一现象在模型规模扩大和代际更迭中表现出惊人的一致性，但现有的研究框架多侧重于对幻觉现象的描述性分类。

目前主流的幻觉分类体系（如 Alansari 和 Luqman 提出的分类法）通常根据输出类型将幻觉划分为内在幻觉（intrinsic）与外在幻觉（extrinsic），以及忠实性（faithfulness）与事实性（factuality）的偏差。这些框架虽然在对现象进行严谨描述方面表现出色，但它们存在一个核心缺陷：无法识别导致特定幻觉实例产生的内部机制。换句话说，现有分类告诉我们“发生了什么”，但没有解释“为什么发生”。

本文旨在填补这一空白，不再仅仅描述幻觉的输出形态，而是深入剖析其结构根源。作者提出，幻觉并非随机噪声，而是由三个关键架构决策共同构成的“复合故障系统”（compound failure system）的必然结果。

核心内容

本文的核心论点在于，大语言模型的幻觉主要源于以下三个架构层面的结构性缺陷，而数据集的问题则起到了放大作用，而非独立成因。

1. 自注意力机制（Self-Attention）：统计邻近性对语义意义的替代

自注意力机制通过计算词元（token）之间的共现频率来学习表示。这种机制本质上是用统计邻近性（statistical proximity）替代了真正的语义意义（semantic meaning）。

• 后果：这种替代导致了实体混淆（entity confusion）、事实归因错误（fact misattribution）以及语义漂移（semantic drift）。当两个实体在训练数据中经常共同出现时，模型可能会错误地认为它们之间存在因果或属性关系，从而产生内在幻觉。

2. 最大似然估计（MLE）训练目标：缺乏事实约束的概率优化

大语言模型通常使用最大似然估计（Maximum Likelihood Estimation, MLE）作为训练目标，旨在优化下一个词元出现的概率。

• 后果：该目标函数仅关注统计上的合理性（statistically plausible），而不考虑事实的真伪（truth value）。只要输出在统计上看起来合理，模型就会给予高概率奖励，无论其内容是否符合客观事实。这导致了外在幻觉的产生，即模型生成了看似合理但事实错误的内容。

3. 自回归解码（Autoregressive Decoding）：暴露偏差与不可逆的错误级联

自回归解码采用从左到右的永久承诺机制（permanent left-to-right commitment）。

• 后果：由于暴露偏差（exposure bias）的存在，模型在训练时看到的是真实的历史序列，而在推理时依赖的是自己生成的历史序列。一旦生成序列中出现了一个错误的词元，这个错误会被后续步骤无条件接受并作为上下文，导致错误在整个输出序列中向前级联（cascade），且无法进行回溯修正。这种机制导致了逻辑不一致（logical inconsistency）。

4. 数据集病理学（Dataset Pathologies）：放大器而非独立成因

作者分析了长尾数据缺失（long-tail deficiencies）、训练偏差（training bias）和合成数据污染（synthetic pollution）等常见的数据集问题。

• 结论：这些问题虽然加剧了幻觉的发生，但它们并不是幻觉的独立根源。相反，它们通过利用上述三种架构机制中的某一种来放大现有的脆弱性。例如，合成数据污染可能加剧自注意力机制中的实体混淆，而长尾数据缺失可能加剧 MLE 目标在罕见事实上的概率误判。

5. 贡献与映射

本文做出了三项主要贡献：

1. 机制映射：将每种架构机制映射到 Alansari 和 Luqman 分类法中的具体输出类别。具体而言，将内在幻觉定位在自注意力机制，外在幻觉定位在 MLE 训练目标，将逻辑不一致定位在自回归解码。
2. 数据病理分析：证明常见的数据集病理问题并非独立产生幻觉，而是利用了上述架构机制。
3. 诊断局限性对比：指出了仅基于输出类型进行分类的诊断局限性，并将其与基于推理层（inference-layer）的缓解方法进行了对比。

关键要点

• 幻觉是结构性的：幻觉不是模型的随机故障，而是由自注意力、MLE 训练目标和自回归解码这三个架构决策共同构成的系统性缺陷。
• 自注意力导致内在幻觉：通过用统计共现替代语义理解，导致实体混淆和事实归因错误。
• MLE 导致外在幻觉：优化目标是统计合理性而非事实真实性，导致模型生成看似合理但事实错误的文本。
• 自回归解码导致逻辑不一致：从左到右的不可逆生成过程加上暴露偏差，使得单个错误词元引发后续所有内容的级联错误。
• 数据问题是放大器：数据集的缺陷（如长尾缺失、合成污染）通过利用架构弱点来放大幻觉，而非独立产生幻觉。
• 现有分类的局限：仅按输出类型分类无法揭示幻觉的内部机制，需要转向基于架构机制的诊断和缓解方法。

意义与影响

这篇论文对理解大语言模型的局限性具有深远的理论和实践意义。

首先，它重新定义了幻觉的研究范式。从描述性的“输出分类”转向解释性的“机制溯源”，为研究者提供了更清晰的调试方向。如果幻觉源于自注意力机制，那么改进策略应侧重于引入语义约束或知识图谱增强；如果源于 MLE 目标，则可能需要引入基于奖励模型的微调（如 RLHF）或事实性校验层；如果源于自回归解码，则可能需要探索非自回归生成或基于搜索的解码策略（如 Beam Search 结合重评分）。

其次，它纠正了对数据质量的过度依赖。许多业界观点认为“数据决定上限”，本文指出数据问题只是放大器。这意味着，即使拥有完美无瑕的数据集，如果架构本身存在上述结构性缺陷，幻觉依然会发生。这提示我们在追求数据规模和质量的同时，必须正视架构层面的根本限制。

最后，它为下一代模型的架构设计提供了指引。未来的模型可能需要打破传统的自回归范式，或引入显式的事实验证模块，以克服统计概率与客观事实之间的鸿沟。对于开发者而言，理解这些结构起源有助于更精准地定位系统错误，从而设计出更鲁棒、更可信的 AI 系统。