DT-Guard: 面向无推理LLM安全护栏的意图驱动推理主动训练

来源：arXiv cs.AI

背景

大型语言模型（LLM）在开放世界应用中需要安全护栏，既要对复杂风险足够鲁棒，又要具备低延迟运行时审核的效率。现有的安全护栏面临实际权衡：一方面，基于分类的轻量级模型虽然高效，但在处理隐藏意图、模糊语义以及边界安全决策时往往表现不佳；另一方面，基于推理的护栏能提升判断质量，但会引入额外的 token 生成和推理延迟。这种效率与质量的矛盾成为 LLM 安全部署的核心瓶颈。

核心内容

本文提出 DT-Guard，一种基于推理主动训练、无推理推理（Reasoning-Active Training, Reasoning-Free Inference）范式的内容安全护栏模型。核心思想是：在训练阶段使用推理监督，但在推理阶段只输出结构化的安全标签，从而避免额外的推理延迟。

DT-Guard 将安全判断建模为一个渐进决策过程：意图（Intent）→ 类别（Category）→ 安全（Safety）。为此，他们构建了一个意图驱动的数据集，包含意图标签、风险类别、安全标签以及结构化的推理轨迹。每个样本都记录了从用户意图出发，经过风险分类，最终得出安全性判定的完整推理过程。

为了进一步提升对困难样本的鲁棒性，作者提出了基于 Rollout 引导的渐进式困难样本优化（Rollout-Guided Progressive Hard-Case Optimization, RG-PHO）。该方法利用多次 rollout 的一致性来识别三类样本：稳定掌握的样本、持续失败的样本以及偏好不稳定的样本。然后，分别对这三类样本应用有针对性的监督优化和偏好优化。

在推理阶段，DT-Guard 直接生成结构化标签（即意图、类别和安全标签），不输出显式的推理轨迹，从而保持了部署效率。实验在 prompt 侧和 response 侧的安全基准上进行，结果显示：

• DT-Guard 在 prompt 侧安全基准上平均 F1 得分为 0.886；
• 在 response 侧安全基准上平均 F1 得分为 0.870；
• 仅使用 4B 参数的骨干模型，DT-Guard 实现了双面平均 F1 为 0.878，超过了强大的 8B 参数护栏基线模型。

这些结果表明，推理监督可以被有效内化为低延迟的安全判别能力。

关键要点

• 训练-推理分离范式：训练时使用完整的推理监督（包括意图、风险类别、安全标签和推理轨迹），推理时仅输出结构化安全标签，无需生成推理文本，兼顾判断质量与低延迟。
• 渐进式安全决策：将安全判断分解为 意图→类别→安全 的三步骤决策过程，增强对复杂语义和隐藏意图的捕捉能力。
• 意图驱动数据集：构建包含意图、类别、安全标签及结构化推理轨迹的数据集，为训练提供丰富的监督信号。
• RG-PHO 优化策略：通过多次 rollout 一致性检测困难样本（稳定掌握、持续失败、偏好不稳定），并分别施加监督优化或偏好优化，提升对边缘案例的鲁棒性。
• 高效率推理：推理时只输出结构化标签，无额外推理开销，4B 参数模型即可达到甚至超越 8B 参数模型的表现，实现效率与质量的双赢。

意义与影响

DT-Guard 提出了一种新颖的安全护栏设计范式：通过将推理能力在训练阶段“内化”到模型中，使得部署时既能获得类似推理模型的判断质量，又能保持分类模型的高效性。这一思路有望解决 LLM 安全部署中长期存在的效率-质量权衡问题。

对于实际应用而言，这意味着可以在不牺牲延迟的前提下部署更强大的安全过滤机制，尤其适用于实时聊天、内容审核等低延迟场景。此外，4B 参数模型超越 8B 参数基线的事实表明，模型规模并非决定护栏质量的唯一因素，精心设计的训练范式可能比单纯扩大参数规模更具性价比。

未来，该范式可以进一步扩展到更多安全维度（如偏见、毒性、隐私等），并可能启发其他需要推理但不允许推理延迟的 AI 安全任务（如实时决策、自动驾驶场景中的风险判断）。RG-PHO 的困难样本优化方法也为其他训练范式（如强化学习、偏好学习）提供了可借鉴的渐进式策略。