结构先验注入突破代码安全漏洞检测路由上限

背景

大型语言模型（LLM）在众多任务中展现出惊人的潜在能力，但始终存在一个被广泛记录的缺口：模型实际上具备解决某类问题所需的知识，却无法稳定地激活这些知识。这一现象被称为路由器假设（router hypothesis）——模型内部存在一个路由机制，当该路由失效时，即使知识已编码在参数中，模型也无法正确调用它。

此前，Cázares（2026）在形式数学推理领域提出了 SAIR 框架，发现注入结构先验（structural priors，论文中称之为 "cheatsheets"，即提示中的结构辅助信息）能显著提升分布内（in-distribution）性能，甚至达到接近完美的水平。然而，当将这些提示迁移到分布外（out-of-distribution, OOD）数据时，性能急剧下降至低于零样本（zero-shot）基线——即所谓的"崩溃"。更糟糕的是，对 cheatsheet 进行迭代重新校准（iterative recalibration）不仅未能纠正崩溃，反而放大了性能下滑。

这一现象是否具有跨领域普遍性？本文尝试在源代码安全漏洞检测这一完全不同的问题领域复制 SAIR 的设计，检验路由器假设是否确实与领域无关。

核心内容

研究者在代码安全漏洞检测任务上严格复刻了 SAIR 的实验范式。他们选取了三种 LLM：GPT-OSS-120B、Llama-3.3-70B 和 Gemma-4-31B，覆盖不同规模和架构。漏洞类别则涵盖三种复杂度梯度：

• CWE-798（硬编码凭证）：语法级简单漏洞；
• CWE-284（不当访问控制）：上下文相关的中等复杂度漏洞；
• 非 CWE 的 N+1 反模式（N+1 anti-pattern）：语义级复杂漏洞，涉及对代码整体逻辑的理解。

实验流程

1. 合成数据上测试分布内性能：先在不添加任何结构先验的零样本提示下评估模型基线，然后注入结构先验（cheatsheet），即一段对漏洞模式进行结构化描述的前置文本，观察性能变化。

2. 分布外迁移测试：将同样经过 cheatsheet 增强的提示直接应用到真实世界的 CVE 数据上，数据来自 VUDENC 数据集，具体包含 CWE-89（SQL 注入）和 CWE-22（路径遍历）两类真实漏洞。

3. 迭代校准：将合成数据上表现最好的 cheatsheet（v1）作为起点，在合成数据上执行迭代重组和优化，得到 v2 cheatsheet，再重新测试其在真实数据上的表现。

主要发现

• F1：结构先验的注入在语义级漏洞（N+1 反模式）上带来了戏剧性提升：所有模型的召回率（recall）从 20.0% 统一提升到 100.0%。对于语法级和上下文级漏洞，提升同样显著但幅度较小。

• F2：零样本性能呈现明显的语义复杂度梯度：越依赖语义理解的漏洞，基线表现越差（语法级 > 上下文级 > 语义级）。这与直觉一致——LLM 在需要深层推理的任务上更容易出现路由失败。

• F3：当相同 cheatsheet 被迁移到真实 CVE 数据时，分布偏移（distribution shift）导致的崩溃被放大。例如，在合成 CWE-89 数据上，所有模型取得了 100% F1 分数；而在 VUDENC 的真实 CWE-89 样本上，F1 骤降至 48.9%，降幅达 51.1 个百分点（-51.1pp）。这精确复刻了 SAIR 中报告的模式。

• F5（原文编号依次为 F1、F2、F3、F5，F4 未在摘要中出现）：迭代重新校准产生了 v2 cheatsheet，在合成数据上进一步优化，但在真实数据上的表现比 v1 更差。这对应 SAIR 中 AN45c 与 AN38 的对比——更精致的提示在分布内可能更优，但跨分布时反而放大过度拟合。

关键技术细节

• 使用的 cheatsheet 不是简单的规则列表，而是对每种漏洞的结构模式进行形式化表述，例如对于 N+1 反模式，会描述循环内部查询与外部查询的关系模式。
• 结果在三个模型上高度一致，说明该现象不依赖于特定模型架构。
• 在验证集（synthetic）上的完美性能与真实数据集上的严重退化之间形成了一个鲜明的trade-off：结构先验同时放大了分布内优势与分布外劣势。

关键要点

• 路由器假设的跨领域验证：SAIR 在数学推理中发现的分布内提升与分布外崩溃现象，在代码安全漏洞检测中完全复现，表明路由器假设不是领域特定的，而可能是 LLM 行为的基本属性。
• 语义复杂度是零样本性能的关键梯度：漏洞越依赖整体语义理解（如 N+1 反模式），LLM 的基线性能越差，且结构先验带来的提升越极端——从几乎不可用到完美，但代价是 OOD 崩溃也最严重。
• 分布偏移下的性能崩溃并非统计噪声，而是结构性现象：相同 cheatsheet 在合成数据上达到饱和，在真实数据上跌幅超过 50%，且无法通过提示优化（迭代校准）缓解，说明崩溃根源不在提示格式，而在模型自身路由机制对分布变化的脆弱性。
• 迭代校准反而加剧问题：针对分布内数据优化后的 v2 cheatsheet 比原始 v1 更差，反映出一种"过度耦合"——模型学会了利用结构先验中的浅层模式，这些模式在目标分布中不成立。
• 论文主张用分布感知训练（distribution-aware training）替代提示校准：与其反复调整提示，不如在训练阶段就让模型暴露于多样的分布偏移，从而内化鲁棒的路由能力。

意义与影响

1. 理论意义：路由器假设获得跨领域证据
   此前路由器假设主要基于数学推理等符号逻辑任务，本文将其扩展到代码安全这一高度实用且语义复杂的领域，且三个模型、三种漏洞类别、两种数据分布的一致结果，强烈支持该假设的普适性。这对理解 LLM 内部机制（如推理路径、注意力路由）提出了新约束：即使是简单的结构先验也无法保证可靠的知识激活，路由失效的根源可能在于表征分布的不匹配。

2. 工程意义：提示工程的天花板被发现是领域无关的
   许多从业者依赖精心设计的提示模板来提升 LLM 的应用表现。本文揭示了一个"天花板"：提示可以在受控的合成数据集上取得惊人效果，但一旦部署到真实世界（数据分布自然偏移），性能不但失效，甚至比不用提示更差。这意味着依赖手工提示优化可能是一种不可靠的策略，尤其是在安全等高敏感领域。

3. 安全领域的直接警示
   代码漏洞检测是软件安全的关键防线。如果基于 LLM 的检测器在合成数据上表现完美却在真实漏洞上漏检超过一半，那么其实际部署价值需要被重新评估。论文中 CWE-89（SQL 注入）从 100% 跌至 48.9% 就是一个典型例子。鼓励使用此类工具的团队应进行严格的跨分布测试，而非仅依赖基准数据集。

4. 研究方向的转变：从提示优化到分布感知
   论文明确指出，问题不在于提示本身，而在于模型缺乏对分布偏移的鲁棒性。因此，未来的研究方向应转向分布感知训练（如域自适应、元学习、多源训练），而不是投入更多精力去构造更巧妙的 prompt。这也呼应了机器学习领域对"鲁棒性优于精度"的长期呼吁。

5. 对论文本身的审慎关注
   注意本文提交于 2026 年 7 月（未来时间），所提模型 GPT-OSS-120B 等可能为虚构或尚未发布的代号。读者应将其视为前沿研究范式（而非已确定事实）来理解其方法论贡献。该工作的最大价值在于提供了一个严格可复现的实验框架，使其他领域的研究者也能检验路由器假设的普遍性。