ICML 2026 深度解读：BYORn——利用模型直觉构建 LVLM 后门防御新范式

背景

多模态大语言模型（Large Vision-Language Models, LVLMs）的崛起，极大地拓展了人工智能对视觉与文本联合语义的理解能力。在这一进程中，监督微调（Supervised Fine-Tuning, SFT）被视为让模型“听懂人话”、对齐人类意图的关键步骤。通过 SFT，模型能够从通用的预训练状态转变为具备特定领域指令遵循能力的专用模型。

然而，随着 SFT 数据的规模扩大和数据来源的多样化，数据安全性成为了一个严峻的挑战。近期研究揭示，LVLMs 在 SFT 阶段极易遭受后门攻击（Backdoor Attacks）。攻击者无需修改模型架构，只需在训练数据集中混入微小的触发器（Trigger）——这可能表现为图像中的特定噪声模式，或指令文本中的乱码单词——即可植入后门。一旦触发，模型会在特定场景下瞬间“失智”，输出攻击者预设的恶意回复，而正常样本的推理表现则几乎不受影响。

传统的防御手段在面对这种开放式生成场景时显得力不从心：

1. 闭集假设失效：传统图像后门防御多基于分类任务的闭集假设，而 LVLMs 面对的是开放式的文本生成，两者语义空间截然不同。
2. 单模态防御局限：现有的针对大语言模型的防御方法（如 ONION）主要处理文本层面的触发器，而关注视觉的防御方法（如 BYE）在面对全局视觉触发器时往往失效。这些方法严重依赖于对触发器具体模式的先验假设，缺乏普适性。

在不知道攻击模式、无法清洗数据的前提下，如何有效防御后门攻击，成为多模态大模型落地应用必须跨越的障碍。

核心内容

ICML 2026 接收的新论文 BYORn (Bootstrap Your Own Responses) 提出了一种无需清洗数据即可直接在毒化数据集上训练的防御框架。其核心理念是利用预训练基座模型自身的“常识”和“直觉”，通过检测并替换语义不符的毒化响应，打破触发器与恶意输出之间的绑定。

问题定义与风险

在理想状态下，标准 SFT 旨在最小化无偏的风险估计： $$ \min_{\theta} \mathbb{E}{(x,y) \sim \mathcal{D}} [-\log p\theta(y|x)] $$ 其中 $x$ 为输入（图像和指令），$y$ 为干净的输出目标。

然而，现实中的训练数据集 $\mathcal{D}_{poisoned}$ 往往包含比例 $\rho$ 的毒化样本。这些样本的输入中植入了 Trigger，且对应的响应 $y$ 被篡改为了恶意目标。如果直接在此类数据上优化负对数似然，模型将精准学习到 Trigger 与恶意响应之间的映射关系，导致后门植入成功。

BYORn 框架机制

BYORn 的破局点在于识别“语义失调”。再狡猾的后门，其恶意响应与输入上下文（图文信息）往往存在逻辑断裂。例如，输入是一只狗在滑板的图片，但恶意 Target 却是“图片里是一个香蕉”。这种不协调逃不过预训练基座模型的判断。

1. 基于生成困惑度的检测

作者定义了一个基于生成困惑度（Perplexity）的检测分数。利用预训练参数 $\theta_{pre}$，计算目标响应 $y$ 的困惑度 $PPL(y|x)$。由于恶意响应通常与图文上下文无逻辑关联，其困惑度分数会显著偏高。通过设定分位数阈值 $\tau$，可以识别出高度疑似毒化的样本，生成指示变量 $I_{poisoned}$。

2. 动态响应自举（Bootstrap Your Own Responses）

若直接丢弃可疑样本（如基线方法 BYORn-F），会导致数据损失和性能下降。BYORn 引入了一个平滑演进的模型副本，即参数的指数移动平均（Exponential Moving Average, EMA），记为 $\theta_{ema}$。

在训练过程中：

• 对于检测为干净的样本，使用原始标签 $y$ 计算 Loss。
• 对于被判定为毒化的样本，不再使用数据集中的恶意答案，而是让 $\theta_{ema}$ 模型现场动态生成一个替代响应 $\hat{y}$。
• 使用这个生成的 $\hat{y}$ 作为伪标签进行反向传播。

由此得到的新目标函数旨在最小化： $$ \mathcal{L}{BYORn} = \mathbb{E}{(x,y) \sim \mathcal{D}{clean}} [-\log p\theta(y|x)] + \mathbb{E}{(x,y) \sim \mathcal{D}{poisoned}} [-\log p_\theta(\hat{y}_{ema}|x)] $$

3. 理论支撑

作者结合 Donsker-Varadhan 上界和 Hoeffding 引理，严密推导证明了：优化这个引入了潜变量（即生成的伪标签）的目标函数，在数学上等价于在不可见的“真实干净数据分布”上最小化群体风险（Population Risk）的上界的经验估计。这解释了为何使用模型自身生成的伪标签不仅能破坏后门关联，还能反向促进模型在主任务上的泛化能力。

4. 工程优化

自回归采样通常耗时巨大，为了解决这一工程瓶颈，作者采用了 Poison-aware minibatching（感知毒化的微批次构建）。该方法将干净样本和可疑样本物理隔离在不同的 Batch 中，极大缓解了 GPU 之间的通信瓶颈，实现了优雅的工程妥协。

关键要点

• 无需数据清洗：BYORn 不依赖对触发器模式的先验知识，也不需要预先清洗数据集，直接在包含毒化样本的数据上进行训练。
• 语义一致性检测：利用预训练模型的困惑度作为“常识”标尺，有效识别输入与输出之间逻辑断裂的毒化样本。
• EMA 动态生成：引入指数移动平均（EMA）模型副本，为毒化样本动态生成“干净”的替代响应，实现“以子之矛攻子之盾”。
• 理论等价性证明：从理论上证明了该方法等价于在真实干净数据分布上最小化风险，确保了防御的有效性和泛化性。
• 工程效率优化：通过 Poison-aware minibatching 隔离处理干净与毒化样本，解决了自回归采样带来的计算效率问题。
• 依赖基座纯洁性：该方法的前提是预训练基座模型（Pretrained VLM）未被投毒。若攻击者在预训练阶段已植入后门（Pre-training Backdoor），检测机制可能失效。

意义与影响

防御性能的全面突破

在 LLaVA、Qwen-VL、InternVL 等多个主流模型上，横跨图像描述（Image Captioning）、找不同（Spot the Difference）和视觉问答（VQA）三大任务的测试表明，BYORn 展现了卓越的防御能力：

• 攻击成功率（ASR）极低：面对 BadNets、Blend、DualKey 和 VL-Trojan 四种攻击，BYORn 将 ASR 平均降低了 40 个百分点，在许多设定下将其压至接近 0%。
• 无损甚至增强泛化：在 CIDEr 和 SPICE 等衡量回复质量的基准测试中，BYORn 的表现甚至略优于使用干净数据训练的原始 SFT 模型。这得益于 EMA 生成机制带来的正则化效应，防止了过拟合。
• 抵抗自适应攻击：即使面对试图通过语义对齐（如在图中绘制香蕉以欺骗检测器）的自适应后门攻击，BYORn 依然坚如磐石，因为强行拼接的语义仍会在模型底层的概率分布中留下痕迹。

范式转变：从“防御”到“利用”

BYORn 的意义在于它转变了安全防御的思路。传统方法往往将安全视为一种额外的约束或清洗步骤，而 BYORn 证明了多模态大模型本身储备的常识就是最强的安全防火墙。通过利用模型自身的生成能力来纠正数据错误，不仅解决了安全问题，还意外地提升了模型的鲁棒性和泛化能力。