REFORGE新方法评估大模型二进制逆向工程能力

背景

大语言模型（LLM）正越来越多地被应用于逆向工程任务，近期威胁情报报告显示，它们已在实际的攻击性安全工作流中运行。然而，关于LLM能力的宣称远超我们对其实际水平的测量能力。现有的LLM辅助二进制分析基准将函数级真实标注（ground truth）的构建视为一个已解决的前处理步骤，直接报告准确率，却不披露有多少函数是可靠可评估的。本文指出，公平评估的主要障碍并非模型能力，而是编译器优化下二进制代码与源代码对齐（binary-to-source alignment）的可靠性。

核心内容

本文提出 REFORGE——一条可追溯来源的处理流水线（provenance-tracked pipeline），用于从C源代码出发，经过编译、DWARF调试信息与语法提取、对齐、反编译，构建函数级真实标注。该流水线将对齐不确定性操作化为一个 八门置信度漏斗（eight-gate confidence funnel） 和 三分层（three-tier stratification）。在一个受控微基准上，从87.2%的高置信度产出下降到65.9%（跨优化级别），并且非配对比较（unpaired comparisons）通过幸存者偏差（survivorship bias）夸大了优化引起的性能衰减。一次对七个当代LLM在函数命名任务上的概念验证评估展示了该基底（substrate）的有效性，并倡导不确定性感知的基准测试实践。

具体来说，REFORGE流程包括：

1. 从C源文件编译成二进制（可选择不同优化级别）。
2. 从DWARF调试信息中提取符号信息，同时从语法分析中提取源级函数信息。
3. 将反编译输出的函数与源函数进行对齐，并记录每个对齐步骤的置信度。
4. 通过八门漏斗（每一道门对应一个对齐检查条件）将函数分类为不同可靠性层级（高、中、低三层）。
5. 仅在高层级上运行LLM评估，并在报告结果时明确披露各层级上的覆盖率。

实验使用微基准（controlled micro-benchmark）说明，在无优化（O0）时高置信度产出为87.2%，到最高优化（如O3）时降至65.9%。如果使用简单的非配对比较（比如直接比较不同优化级别下LLM的命名准确率），由于低置信度函数被排除，剩余的样本具有系统偏差（幸存者偏差），导致性能下降被高估。概念验证评估中，七个LLM在函数命名上的表现差异表明，当前基准若不处理对齐不确定性，可能得出误导性结论。

关键要点

• 主要障碍不是模型能力，而是二进制-源代码对齐可靠性：编译器优化（如内联、死代码消除、寄存器分配）导致反编译后的函数结构发生变化，使得函数级匹配变得困难且不确定。
• REFORGE流水线：从源代码到对齐结果的完整可追溯流程，可量化每个函数的对齐置信度。
• 八门置信度漏斗：通过八个逐步严格的检查条件（如函数名匹配、参数列表匹配、调用图匹配等）将函数分类，产生三级可靠性（高、中、低）。
• 受控微基准结果：高置信度函数比例随优化级别从87.2%下降到65.9%，表明大量函数在优化后无法可靠对齐。
• 幸存者偏差问题：仅保留可对齐的函数进行评估会导致性能衰减被夸大，因为不可对齐的函数往往是因优化改变最大的，它们可能恰好是模型表现较差的样本。
• 概念验证评估：对七个当代LLM在函数命名任务上进行评估，证明了REFORGE基底能揭示不同模型间的真实差异，且比传统无条件报告准确率的方法更可信。
• 倡导不确定性感知基准：未来的LLM逆向工程评估应明确报告对齐置信度分层及每层上的样本量，以避免误导结论。

意义与影响

REFORGE为LLM辅助逆向工程提供了首个系统化的不确定性感知评估框架。它揭示了当前基准测试中一个被忽视的致命缺陷：对齐可靠性问题。由于论文明确指出“现有基准将函数级真实标注视为已解决的前处理步骤”，REFORGE从根本上反驳了这一假设。其意义在于：

• 实证层面：证明了优化级别和幸存者偏差会显著扭曲LLM性能评估结果，使看似合理的性能下降实则不可靠。
• 方法论层面：引入置信度漏斗和分层报告，为其他领域（如错误定位、补丁生成）的LLM评估提供了可借鉴的范式。
• 实践层面：安全从业者在评估LLM逆向工具时应关注其在不同优化级别下对齐的稳定性，REFORGE可作为工具选型标准的一部分。
• 研究社区：呼吁LLM逆向工程领域的基准测试必须开源对齐流水线，并披露每个评估样本的置信度等级，以提升结果的可重复性和可比性。

REFORGE方法本身并不复杂，但其对评估偏差的揭露和解决方案的提出，将推动整个领域向更加严谨的方向发展。