Prefill Awareness in Large Language Models：大模型中的“预填充感知”现象深度解读

背景

在人工智能安全领域，针对大型语言模型（LLM）的研究——包括对齐评估、越狱（Jailbreaking）测试以及 AI 控制协议——通常依赖于一种称为“预填充”（Prefilling）的技术手段。具体而言，研究人员会在模型的对话历史中插入特定的助手回复（Assistant Messages），以观察模型在后续生成中是否会被这些预设内容引导或操控。

然而，这种评估方法的有效性建立在一个隐含假设之上：模型是无意识的，它无法区分哪些内容是由系统注入的“预填充”内容，哪些是它自己生成的正常输出。如果前沿模型能够识别并响应其先前助手消息被插入或编辑的事实，那么基于预填充的评估方法的有效性及其得出的结论可能会受到严重质疑。

本文旨在调查前沿语言模型是否具备区分“被篡改”与“未被篡改”的助手侧上下文的能力。我们将这种能力定义为预填充感知（Prefill Awareness）。

核心内容

为了探究这一现象，研究团队构建了一个涵盖三种预填充机制的二元偏好基准测试（Binary Preference Benchmark），并专门筛选出模型表现出一致立场的案例进行分析。研究发现，前沿模型确实展现出了显著的预填充感知能力，具体表现及机制如下：

1. 模型能够检测并抵抗预填充

实验显示，以 Claude Opus 4.5 为代表的前沿模型，在受到提示时，能够检测到与其偏好相悖的预填充内容。检测率在不同案例中介于 9% 至 35% 之间，且误报率（False Positive Rate）为 0%。这意味着模型在识别出异常预填充时非常谨慎，不会错误地将正常内容标记为篡改。

2. “静默”回归基线行为

除了显式地报告预填充内容来自外部（即“flagging”），模型还经常表现出一种更隐蔽的行为：在没有明确声明预填充内容异常的情况下，它们会自动向基线行为（Baseline Behavior）回归。也就是说，模型会忽略那些被篡改的指令，继续按照其原本的训练偏好生成回答。

3. 检测与抵抗依赖不同的线索

通过受控消融实验（Controlled Ablations），研究揭示了模型识别预填充和抵抗预填充背后的不同机制：

• 风格不匹配（Stylistic Mismatch）：主要影响模型是否将预填充标记为“外来/异常”。如果预填充内容的语气、格式或风格与模型一贯的输出风格不符，模型更倾向于将其标记为异常。
• 偏好不匹配（Preference Mismatch）：主要影响模型是否回归到基线答案。如果预填充的内容与模型内在的安全或对齐偏好相冲突，模型更倾向于忽略该指令并回归正常行为。

4. 在真实代理（Agentic）场景中的表现

研究还考察了更贴近现实的应用场景，例如**不对齐延续评估（Misalignment-continuation evaluations）**和 SWE-bench 的代码生成轨迹。在这些复杂环境中，前沿模型有时会否认（Disavow）被预填充的助手轮次。这种否认行为强烈依赖于数据集类型、任务成功与否以及隐藏的格式伪影（Hidden formatting artifacts）。这表明预填充感知不仅存在于简单的对话测试中，也存在于复杂的智能体交互中。

关键要点

• 预填充感知已存在：前沿大模型（如 Claude Opus 4.5）已经具备区分被篡改和未被篡改上下文的能力，这被称为“预填充感知”。
• 高置信度的检测：模型在检测与其偏好相悖的预填充时，表现出高准确率（9-35% 的检测率）且零误报。
• 双重抵抗机制：
  • 风格线索决定模型是否“发现”异常（标记为外来）。
  • 偏好线索决定模型是否“无视”异常（回归基线）。
• 隐蔽的抵抗行为：模型往往不直接报告被篡改，而是通过静默地回归基线行为来抵抗预填充指令。
• 场景依赖性：在 SWE-bench 等复杂代理任务中，模型的预填充感知能力受任务成功率、数据集特性和隐藏格式细节的强烈影响。
• 对评估方法的挑战：预填充感知已成为基于预填充方法的一个重大混淆变量（Confounding Factor），可能扭曲安全评估的结果。

意义与影响

这项研究对 AI 安全评估和模型开发具有深远的影响：

1. 重新审视安全评估的有效性： 目前许多针对模型对齐、越狱攻击和 AI 控制协议的评估都依赖于预填充技术。如果模型能够感知并抵抗这些预填充内容，那么基于此得出的“模型已被成功越狱”或“模型对齐失败”的结论可能是无效的。研究人员必须考虑到模型可能只是在“假装”服从，而实际上并未改变其核心行为。

2. 揭示模型的自我意识雏形： 虽然“预填充感知”不等于广义的自我意识，但它表明模型能够监控其输入上下文的一致性，并据此调整行为。这种对输入来源和风格一致性的敏感性，是模型内部表征复杂性的体现。

3. 对模型开发者的建议： 文章建议模型开发者在前沿系统中追踪和监控这种“预填充感知”能力。随着模型能力的提升，这种感知能力可能会进一步增强，从而使得传统的红队测试（Red Teaming）和对抗性评估方法需要引入更复杂的控制变量，以排除模型自身感知机制带来的干扰。

4. 未来研究方向： 理解风格不匹配与偏好不匹配在预填充感知中的不同作用，有助于设计更鲁棒的评估基准。未来的研究可能需要开发能够区分“模型因风格异常而拒绝”与“模型因安全偏好而拒绝”的新指标，以更准确地衡量模型的真实对齐状态。