← 返回信息流
技术博客arXiv cs.AI·3 小时前

Safety Sentry用EXECUTE-ASK-REFUSE路由实现上下文感知人工干预

原标题:SAFETY SENTRY: Context-Aware Human Intervention via EXECUTE-ASK-REFUSE Routing

速览

LLM代理通过工具调用作用于真实环境,现有二元安全标签混淆了行动本身的有害性和用户语境中的适切性。Safety Sentry将问题重构为每个实例的三路路由(执行、询问、拒绝),并实现为轻量级防护模型,仅需一次解码调用。通过单次解码阈值,同一固定检查点可在不同风险容忍度的部署间调整,无需重训练。在整体准确性和安全相关召回上优于多个开源和闭源基线,同时控制方向性错误率。

AI 深度解读

AI 正在阅读原文并生成深度解读…(首次约 20–40 秒,之后秒开)
查看原文 →arxiv.org