Dream at SemEval-2026 Task 13: SALSA for Single-Pass Machine-Generated Code Detection

背景

随着大型语言模型（LLM）在代码生成领域的深刻变革，学术界与工业界对于代码作者身份认定、评估完整性以及软件信任度的担忧日益加剧。为了应对这一挑战，SemEval-2026 设立了 Task 13，旨在系统化地解决机器生成代码的检测问题。

该任务的核心难点在于分布外（Out-of-Distribution, OOD）泛化能力。传统的检测模型往往在训练数据覆盖的语言或领域内表现良好，但一旦面对未见过的编程语言或全新的应用领域，其性能便会大幅下降。SemEval-2026 Task 13 Subtask A 将检测任务定义为针对代码片段的二分类问题，并特别强调模型在跨语言、跨领域场景下的鲁棒性。

在此背景下，Ruslan Berdichevsky 等人提出了 SALSA（Single-pass Autoregressive LLM Structured Classification，单次通过自回归大语言模型结构化分类）方法，试图通过重新设计分类范式，提升模型在未知环境下的检测能力。

核心内容

本文提出了一种名为 SALSA 的新型分类框架，专门用于单次通过（Single-Pass）检测机器生成的代码。该方法摒弃了传统工程中依赖手工特征工程或预设决策规则的做法，转而将作者身份的判定权完全委托给大语言模型本身。

1. SALSA 方法原理

SALSA 的核心思想是将分类任务转化为结构化生成任务。具体而言：

• 专用输出令牌映射：模型为每个类别（如“人类编写”或“机器生成”）映射一个专用的输出令牌（Output Token）。
• 单次通过生成：训练模型在结构化响应中仅输出一个令牌作为标签，而非生成完整的自然语言解释或进行多次推理步骤。
• 端到端决策：通过这种方式，模型直接学习从代码片段到类别标签的映射关系，无需中间的特征提取或规则判断环节。

2. 提升 OOD 鲁棒性的策略

为了增强模型在分布外数据上的泛化能力，避免过拟合于训练域，研究团队采用了以下三项关键策略：

• 跨语言平衡采样：在训练过程中，对不同编程语言的样本进行平衡采样，确保模型不会偏向于某种特定语言的模式，从而提升跨语言的适应能力。
• 参数高效微调（PEFT）：采用参数高效微调技术，在保留预训练模型通用知识的同时，快速适应检测任务。
• 保守训练策略：使用较低的学习率（Low Learning Rate）并限制仅进行单轮训练（Single Epoch）。这种保守策略旨在防止模型过度拟合训练数据中的特定领域特征，从而保留更强的泛化潜力。

3. 实验结果

在 SemEval-2026 Task 13 Subtask A 的官方排行榜上，SALSA 系统展现了显著的性能优势：

• OOD F1 分数：最佳系统达到了 0.789 的分布外 F1 分数。
• 基线对比：相比之下，广泛使用的代码检测基线模型 CodeBERT 的 F1 分数仅为 0.305。

这一结果证明，SALSA 方法在应对未见过的编程语言和应用领域时，具有远超传统方法的鲁棒性和准确性。

关键要点

• 范式转变：SALSA 将代码检测从传统的“特征工程+分类器”模式转变为“结构化令牌生成”模式，利用 LLM 的内在能力直接输出类别标签。
• 泛化优先：通过平衡采样、参数高效微调和保守训练（低学习率、单轮迭代），重点解决 OOD 泛化难题，而非仅仅追求训练集上的高分。
• 性能突破：在 SemEval-2026 Task 13 中，SALSA 以 0.789 的 OOD F1 分数大幅领先于 CodeBERT（0.305），确立了新的性能基准。
• 去规则化：方法不依赖手工设计的特征或决策规则，而是让模型自主学习代码特征与作者身份之间的复杂关联。

意义与影响

SALSA 方法的提出对代码生成检测领域具有重要的理论和实践意义：

1. 提升软件供应链信任度：随着 AI 生成代码的普及，准确区分人类与机器生成的代码对于维护代码库的安全性、合规性及责任认定至关重要。SALSA 的高泛化能力有助于在复杂的真实开发环境中可靠地识别 AI 痕迹。
2. 推动检测技术向通用化演进：传统检测模型往往受限于特定语言或框架，而 SALSA 证明通过结构化生成和保守训练，可以构建出更具通用性的检测器，适应不断涌现的新编程语言和开发范式。
3. 为大模型能力评估提供新视角：该方法展示了如何将 LLM 的生成能力转化为高效的分类工具，为其他结构化预测任务提供了可借鉴的思路，即通过约束输出空间来简化复杂决策过程。

总之，SALSA 不仅在 SemEval-2026 中取得了优异成绩，更为解决机器生成代码检测中的泛化瓶颈提供了切实可行的技术路径。