ICML 2026 | 面向视觉语言模型的语义鲁棒性认证：用文本提示刻画可证的语义变化区间

背景

视觉语言模型（Vision-Language Models, VLMs）已成为开放词表识别、图文检索、检测、分割和视觉问答等任务的基础组件。然而，在真实应用场景中，输入图像经常发生语义层面的变化，例如物体形状、尺寸、风格、背景、视角或光照的改变。

传统的鲁棒性认证方法主要关注像素级扰动（如 $L_p$ 球内的对抗扰动）、几何变换（旋转、平移等）或生成模型潜空间中的变化。这些方法存在明显的局限性：

1. 像素级扰动：难以表达“更圆”、“更暗”、“像素描风”或“更换背景”等高层语义变化。
2. 几何变换：虽有明确的闭式参数，但覆盖范围有限。
3. 生成模型潜空间：虽然能表达复杂语义，但通常需要针对每种语义变化准备数据并训练或调用生成模型，实际部署成本较高。

现有研究大多在观测到变化后分析或提升模型表现，缺乏对“当图像沿着某个语义方向变化时，VLM 预测在多大范围内保持不变”这一问题的闭式解答。ICML 2026 接收的论文《Semantic Robustness Certification for Vision-Language Models》提出了一种新的框架，利用 VLM 的开放词表能力，通过文本提示（Prompt）作为语义代理，在图文共享嵌入空间中定义语义变化方向，并精确计算预测类别保持不变的语义变化区间（Semantic Extent Interval）。

核心内容

该论文的核心思想是将“语义变化”转化为 VLM 共享嵌入空间中的连续变换，并利用分类器决策边界的几何结构进行解析认证。

1. 语义方向的定义：基于文本提示的嵌入空间

VLM（如 CLIP）将图像和文本映射到同一个单位球嵌入空间，分类通常通过计算图像 Embedding 与类别文本 Embedding 的余弦相似度完成。作者利用这一特性，将语义变化建模为由文本 Embedding 张成的二维子空间上的变换：

• Source/Target Prompts：使用一对文本提示（Source 和 Target）来定义语义变化的起点和终点。例如，Source 为 “a photo of a gyoza”，Target 为 “a photo of triangular gyoza”。
• Semantic Plane：对应的文本 Embedding $u_a$ 与 $u_a'$ 张成一个二维语义平面。
• Embedding 分解：图像 Embedding $z$ 被分解为位于该平面内的分量 $z_{\parallel}$ 和与平面正交的分量 $z_{\perp}$。语义变换仅改变平面内分量的方向，保留正交分量中的无关信息。

2. 语义变换参数化：Semantic Extent

作者定义了语义变化强度参数 $\phi$（Semantic Extent），控制 $z_{\parallel}$ 在 Source-Target 语义平面中的角度位置：

• $\phi=0$ 对应 Source Semantic。
• $\phi=1$ 对应 Target Semantic。
• 确定 Target Extent 的方式：
  • Text-specified (T-Spec)：直接使用 Target Prompt 的 Embedding 作为终点。
  • Image-specified (I-Spec)：如果有目标语义的参考图像，使用参考图像 Embedding 投影来确定终点。

3. 闭式区间认证：解析决策边界

VLM 的分类决策边界由类别文本 Embedding 的成对垂直平分线（Pairwise Bisector）决定，即 Voronoi 决策区域。

• 解析计算：将语义变换 $\gamma(\phi)$ 代入类别 Margin 公式，类别切换点可以写成 $\phi$ 的闭式方程。
• 区间划分：收集所有可能类别对的切换点并排序，将 $\phi$ 区间切割为若干预测不变区间（Prediction-Invariant Intervals）。
• 输出结果：模型不仅给出单点预测，还输出一系列区间，指明在哪个 $\phi$ 范围内预测保持不变，以及在哪个点发生类别翻转。

4. 实验验证

论文在 CLIP ViT-B/32 上进行了实验，涵盖合成数据与真实数据：

• 定性分析：展示了颜色、形状、材质、风格、背景、视角、光照等描述符下的证书区间变化。例如，“gyoza”在变为“triangular”时，预测在 $\phi \in [0, 0.77]$ 保持为 Gyoza，之后翻转为 Samosa；而在变为“on a plate”时，预测全程保持为 Gyoza。
• 边界评估：引入 Misalignment Budget $\delta$ 模拟跨模态不对齐。结果显示，随着 $\delta$ 增大，稳定覆盖率下降，但实证不变性仍保持较高，证明证书边界保守但可靠。
• 对比基线：在 OxfordPets、Flowers102、Food101 等数据集上，本文方法（T-Spec 和 I-Spec）比 ExactLine 更稳定地对齐语义变化。I-Spec 因使用参考图像通常表现更强，T-Spec 则更轻量。

关键要点

• 无需额外生成模型：该方法不需要为每个语义变化训练额外的生成模型，而是直接利用 VLM 自身的文本-图像嵌入几何，通过 Prompt 指定语义方向。
• 可解释的诊断工具：证书不仅仅是一个标量鲁棒性分数，而是沿语义方向展开的预测轨迹。区间长度短表明模型对该语义方向敏感；类别翻转点揭示了模型依赖的属性。
• 两种指定模式：
  • T-Spec：仅依赖文本 Prompt，轻量级，适用于开放词表语义。
  • I-Spec：依赖参考图像，精度通常更高，适用于有明确视觉参考的场景。
• 保守但可靠的保证：通过建模跨模态不对齐（Misalignment），证书在存在不确定性时保持保守，确保给出的稳定性保证是 Sound 的。
• 代码开源：作者已开源代码，地址为 https://github.com/ypeiyu/vlm-semantic-cert。

意义与影响

这项工作的关键意义在于将鲁棒性认证从像素扰动和少数几何变换推进到了开放词表语义变化层面。

1. 模型审计与安全：开发者可以指定具体的语义方向（如“颜色变暗”、“背景变为街道”），检查 VLM 在多大程度内预测稳定，从而进行鲁棒性审计。
2. 失败模式诊断：证书区间可以帮助识别模型的脆弱点，揭示模型在哪些语义属性上容易出错，辅助调试。
3. Prompt 工程优化：不同 Prompt 定义的语义方向可能产生不同的稳定区间，证书长度可作为选择鲁棒 Prompt 的参考标准。
4. 下游任务基础：由于许多下游任务（如检索、检测、分割）复用相同的图文打分机制，此类认证方法可为这些任务提供稳定性保障。

该研究提醒业界，评估 VLM 的可靠性不仅要看静态 Benchmark 分数，更要关注其在语义连续变化过程中的预测边界稳定性。这为未来 VLM 在高风险场景（如自动驾驶、医疗影像分析）中的部署提供了新的理论工具和实践路径。