T5-CSBoost：抗对抗扰动的大模型指纹识别新方法

背景

近年来，随着大语言模型（LLM）生成的文本在互联网上大量涌现，如何准确检测和归因AI生成文本（AIGT）成为了重要的安全与治理问题。现有的AIGT检测器在clean inputs上表现出色，但一旦面对轻微的改写（paraphrasing）、单词替换、字符编辑或分布偏移（distribution shifts），其准确率就会显著下降。这种脆弱性使得检测系统在实际对抗性场景中难以可靠工作。因此，提升AIGT检测器的鲁棒性，特别是对对抗性扰动（adversarial perturbations）的抵抗能力，成为了该领域的关键挑战。

核心内容

针对上述问题，研究者提出了T5 Contrastive Style Boosted Classifier（T5-CSBoost），这是对T5-Sentinel框架的一个扩展。T5-CSBoost保留了原有的next-token prediction目标用于源归因（source attribution），同时引入了一个基于decoder embeddings的辅助margin-based triplet loss。这一对比风格正则化（contrastive style regularization）鼓励模型学习紧凑、抗扰动的风格表示（stylistic representations）。与以往依赖架构修改、对抗训练或复杂多任务目标的方法不同，T5-CSBoost在不改变底层的T5-small backbone的前提下，提供了一种轻量级但有效的替代方案。

实验结果显示，T5-CSBoost在OpenLLMText和HC3 AIGT基准上实现了多类源归因（multiclass source attribution）和二元人类vs LLM检测（binary human-vs-LLM detection）的最优性能。更重要的是，T5-CSBoost对单词和字符级别的对抗性扰动展现出增强的鲁棒性，能够抵御高达90%强度的扰动，并在极具挑战性的MAGE/Deepfake压力测试套件上取得了最先进的结果——包括未见过的模型（unseen models）、未见过的领域（unseen domains）和极端改写场景（extreme paraphrasing scenarios）。这些结果强调，通过对比学习显式地正则化风格嵌入（stylistic embeddings），是在真实世界对抗性环境下构建更鲁棒的LLM指纹识别系统的一种实用且有效的策略。

关键要点

• T5-CSBoost是在T5-Sentinel框架基础上扩展而来，核心创新是在保留原有next-token prediction目标的同时，引入一个基于decoder embeddings的margin-based triplet loss作为辅助损失。
• 该方法通过对比风格正则化（contrastive style regularization）迫使模型学习紧凑且能抵抗扰动的风格表示，从而提升对对抗性扰动的鲁棒性。
• 相比之前的方法（架构修改、对抗训练、多任务目标等），T5-CSBoost不需要改变底层的T5-small backbone，是一种轻量级方案。
• 在OpenLLMText和HC3 AIGT两个基准上，T5-CSBoost在多元源归因和二元human-vs-LLM检测任务上均取得state-of-the-art性能。
• 在MAGE/Deepfake压力测试套件上，面对单词和字符级对抗性扰动（强度高达90%）、未见过模型、未见过领域和极端改写场景，T5-CSBoost依然保持领先的鲁棒性。
• 研究结果表明，对比学习对风格嵌入的正则化是构建鲁棒LLM指纹识别系统的一种实用且有效的策略，尤其适用于真实世界对抗性设置。

意义与影响

T5-CSBoost的提出为LLM文本指纹识别（fingerprinting）领域提供了一条新的路径。它表明，不依赖复杂的架构修改或昂贵的对抗训练，仅通过对比学习对风格表示进行显式正则化，就能在保持检测精度的同时大幅提升鲁棒性。这一发现对于部署在实际环境中的AIGT检测系统具有重要价值——例如在社交媒体、学术出版、内容审核等场景中，攻击者往往通过轻微扰动就能绕过传统检测器。T5-CSBoost的成功验证了风格表示（stylistic embeddings）在抵御对抗性攻击中的核心作用，并为进一步研究更轻量、更鲁棒的LLM源归因方法奠定了基础。此外，该方法在未见过的模型和领域上的泛化能力，也展示了其在应对LLM快速迭代和多样应用场景时的潜力。