低查询预算下文本硬标签对抗攻击新方法LBA
速览
LBA是一种基于采样的方法，通过整合先验和后验知识构建近似分布，用于生成高质量对抗文本。该方法在六个语言模型、四个数据集上显著优于现有基线，且生成文本语义保留度高、可理解性强。
AI 深度解读
背景
在自然语言处理的对抗攻击研究中，硬标签（hard-label）场景是一个极具挑战性的设定：攻击者只能通过模型的最终输出标签（例如分类结果）来推断是否存在对抗样本，而无法获取模型的置信度分数或梯度信息。这种设定更贴近现实中的黑盒 API 调用场景，但同时也使得攻击的难度急剧上升。
在硬标签场景下，低查询预算（low query budget） 是一个核心约束——攻击者希望在尽可能少的模型查询次数内生成高质量、语义保持的对抗样本。然而，现有的主流方法大多采用贪心搜索策略：先选择文本中的一个位置进行替换，再依次替换其他位置。这种局部搜索方式容易陷入次优解，且往往需要大量查询才能找到有效的对抗样本。从理论上讲，最优的对抗样本需要考虑文本中所有可能的词语位置组合，但穷举搜索在计算上不可行。
针对这一矛盾，本文提出了一种基于采样的方法 LBA（Low query Budget Attack），旨在以较少的查询次数逼近高质量对抗样本的分布，从而显著提升攻击效率。
核心内容
LBA 的核心思想是：构建一个能够近似高质量对抗样本分布的采样模型，并通过采样-更新-再采样的迭代过程，逐步引导搜索方向。具体来说，该方法融合了先验知识（prior knowledge） 和后验知识（posterior knowledge）。
- 先验知识：基于语言模型本身的统计特性（如词频、上下文相似度等）或领域知识，为每个位置可能的替换词语赋予初始概率。这相当于在没有进行任何模型查询之前，对“哪些替换更可能成功”做出初步估计。
- 后验知识：随着攻击的进行，针对每一次采样得到的候选对抗样本进行模型查询，获得模型是否被欺骗的反馈（硬标签结果）。这些查询结果被用来更新当前近似分布，使得后续采样更偏向于那些实际有效的替换模式。
具体流程如下：
- 初始化：根据先验知识构建一个初始的概率分布，覆盖所有可能的词语位置和候选替换词。
- 采样：从当前分布中采样一组候选替换方案（可能同时替换多个位置），而不是像贪心方法那样每次只改一个位置。
- 查询与反馈：将采样得到的对抗文本输入目标模型，获取硬标签输出。如果成功欺骗模型（即输出与原始标签不同），则记录该方案。
- 更新分布：利用成功的采样结果作为后验反馈，调整分布中对应位置和替换词的概率权重，使得未来采样更倾向于具有高成功率的组合。
- 迭代：重复采样-查询-更新步骤，直到达到查询预算或找到满足条件的对抗样本。
该方法的关键优势在于：一次采样可以同时改变文本中的多个位置，从而避免贪心方法中逐个替换带来的局部最优问题。同时，通过分布更新机制，算法能够快速聚焦于有希望的区域，降低无效查询的浪费。
实验部分，论文在四个不同领域的数据集（如情感分析、新闻分类等）上，对六种不同规模的语言模型（从小型如 BERT 到大型如 Llama 系列）进行了测试。评估指标包括：攻击成功率、平均查询次数、对抗文本的语义相似度（基于词向量或 LLM 评估）以及可读性。结果显示，LBA 在所有评估指标上均显著优于当前最先进的基线方法。此外，论文还使用 LLM 作为自动评估工具，对人类难以判断的语义保持性和自然度进行了测评，结果表明 LBA 生成的对抗文本在语义保持和可理解性方面也明显更优。
关键要点
- 聚焦低查询预算下的硬标签攻击：LBA 专门针对查询次数受限制的场景设计，是首个在极低预算下仍能高效生成高质量对抗文本的采样方法。
- 从贪心局部搜索转向全局采样：LBA 不再逐个位置替换，而是同时采样多个位置的替换方案，通过概率分布覆盖更多组合空间，避免贪心算法的局部最优陷阱。
- 融合先验与后验知识：先验知识提供初始搜索方向，后验知识通过实时查询反馈不断修正分布，两者协同提升采样效率和成功率。
- 极低的查询开销：实验表明，相较于主流基线方法，LBA 能在保持或提升攻击成功率的同时，大幅减少所需查询次数。
- 适用于多种语言模型规模：从小型预训练模型（如 BERT）到大型语言模型（如 Llama），LBA 均展现出稳定的性能优势。
- 自动评估保持语义：使用 LLM 进行主观质量评估，证明 LBA 生成的对抗文本不仅攻击有效，而且语义保留度高、文本可读性强。
意义与影响
LBA 的提出对硬标签对抗攻击领域具有重要的推动意义：
- 方法论上的创新：将对抗样本生成从串行局部搜索推广为基于概率采样的并行搜索，理论上更接近最优解空间。这一思路可以被推广到其他需要“黑盒优化”的 NLP 任务中（如解释性、文本风格迁移等）。
- 实际应用价值：低查询预算意味着攻击更隐蔽、成本更低，这对部署在现实场景（如 API 安全服务）中的 NLP 模型构成了更加真实的威胁评估。模型开发者可以利用 LBA 更高效地测试自家模型的鲁棒性短板。
- 推动对抗防御研究：更强的攻击方法会倒逼防御策略的升级。LBA 生成的高质量、语义保持的对抗样本，有助于训练更鲁棒的模型，例如通过对抗训练或数据增强。
- 跨模型规模适用性：实验覆盖了从小型到超大型的语言模型，表明该方法不依赖于特定模型结构，具有较好的通用性。这为大模型的安全评测提供了低成本、高可靠性的工具。
总体而言，LBA 通过巧妙的采样机制，在“低查询预算”这一硬约束下显著提升了硬标签攻击的效率与质量，为 NLP 对抗攻击研究提供了新的基准方法和思路。