READER：基于提取表示的鲁棒证据型作者身份解码

背景

随着以智能体（Agentic）应用为代表的 AI 工作流日益普及，用户任务越来越多地通过官方或第三方的大型语言模型（LLM）API 进行路由和处理。在这一背景下，**溯源（Provenance）**不再仅仅是一个学术问题，而变成了一个关键的运营问题：当面对一个黑盒响应时，我们如何确定究竟是由哪个模型生成的？

现有的溯源研究通常依赖于“固定输入集”或“基准测试套件”，即使用预定义的、静态的提示词来测试模型。然而，在实际应用场景中，情况要复杂得多。我们需要解决的是**动态黑盒 LLM 溯源（Dynamic Black-Box LLM Provenance）问题，即从由查询多变、非预定义提示词（query-varying, non-predefined prompts）**引发的生成内容中，识别出源 LLM。

这一设定极具挑战性，原因在于：

1. 提示词语义的主导性：生成文本的内容和风格主要受提示词语义支配。
2. 作者痕迹的微弱性：模型特有的“作者身份痕迹”在表层文本中非常微弱且不一致。

传统的基于句子编码器（Sentence Encoder）的指纹识别方法在这种动态、开放的环境下往往表现不佳，因为它们难以从强烈的提示词噪声中提取出稳定的模型特征。

核心内容

为了解决上述挑战，研究团队提出了 READER（Robust Evidence-based Authorship Decoding via Extracted Representations，基于提取表示的鲁棒证据型作者身份解码框架）。READER 是一个轻量级的溯源框架，其核心思想是将一个**冻结的代理 LLM（frozen proxy LLM）**作为“读者”，用于读取隐藏的作者身份证据。

1. 核心机制：从激活空间提取证据

READER 的工作流程并非直接分析生成的文本表层，而是深入模型的内部表示：

• 映射到代理激活空间：READER 将黑盒 LLM 的输出映射到一个冻结的代理 LLM 的激活空间（activation space）中。
• 时间过滤（Temporal Filtering）：在每次响应中，READER 会对 token 状态进行时间上的过滤，筛选出最具代表性的隐藏状态。
• 贝叶斯证据累积（Bayesian Evidence Accumulation）：这是 READER 的关键创新。它通过计算单次响应的对数后验证据（log-posterior evidence），并将这些证据在独立采样的多个提示词上进行求和。

2. 克服传统方法的缺陷

传统的溯源方法往往采用**平均池化（mean-pooling）**来处理不同提示词产生的表示。这种方法存在脆弱性，因为它可能会抹平不同查询之间的细微差异，导致证据丢失。

READER 通过贝叶斯证据累积避免了这一陷阱。它保留了每个查询特定的证据，从而能够进行校准后的置信度评估（calibrated confidence）。这意味着框架不仅知道“是谁写的”，还能给出一个可靠的概率判断。

3. 实验验证与性能

研究团队在 Agent500 数据集上对 READER 进行了评估。这是一个包含 50 个目标模型的数据集，专门构建于智能体风格的提示词之上。实验结果如下：

• 单次响应性能：READER 在单次响应中即可达到 31.0% - 42.4% 的 Top-1 准确率。
• 多响应聚合性能：当聚合 50 个不同响应的证据时，准确率大幅提升至 70.0% - 84.0%。
• 对比优势：READER 的性能显著优于基于句子编码器（sentence-encoder）的指纹识别方法。

4. 扩展性发现

研究还探索了使用九个不同的代理读者进行扩展。结果显示，更强的 LLM 作为代理时，能够暴露出更多线性可解码（linearly decodable）的作者身份结构。这一发现暗示：作者身份的感知特征已经存在于冻结的 LLM 表示中，并且可以通过 READER 框架转化为可靠的多查询归因能力。

关键要点

• 问题定义革新：从静态基准测试转向动态、非预定义提示词下的黑盒 LLM 溯源，更贴合真实世界的智能体应用场景。
• 方法论创新：
  • 利用冻结的代理 LLM 作为特征提取器，而非训练新的分类器。
  • 引入时间过滤机制，优化 token 状态的选择。
  • 采用贝叶斯证据累积替代脆弱的平均池化，保留查询特定的证据以实现校准置信度。
• 性能突破：在 Agent500 数据集上，通过聚合 50 个响应的证据，READER 实现了高达 84.0% 的 Top-1 准确率，大幅领先于传统的句子编码器指纹方法。
• 理论洞察：研究证实了更强的 LLM 内部蕴含更丰富的线性可解码作者身份结构，表明模型自身的隐藏层表示已具备区分不同生成源的能力，只需正确的解码策略（如 READER）即可提取。
• 轻量化与鲁棒性：READER 是一个轻量级框架，不依赖对目标模型的访问权限（黑盒），且对提示词的语义变化具有鲁棒性。

意义与影响

READER 的提出在 LLM 溯源领域具有重要的理论和实践意义：

1. 填补运营安全空白：随着 LLM API 成为基础设施，确定内容来源对于版权保护、责任归属和内容安全至关重要。READER 提供了一种在无需访问模型权重或内部接口的情况下，仅通过输入输出交互即可进行高准确率溯源的方法。
2. 推动“模型指纹”研究的深化：传统研究多关注文本表面的风格指纹，而 READER 证明了深层激活空间中的证据更为可靠。它揭示了不同模型在隐藏层表示上的系统性差异，为理解 LLM 的内部工作机制提供了新视角。
3. 支持多轮对话与智能体场景：智能体应用通常涉及多轮交互和复杂的提示链。READER 的贝叶斯累积机制天然适合处理多查询场景，能够从分散的交互片段中汇聚强有力的证据，解决了单点判断置信度低的问题。
4. 促进开源与可解释性：通过证明冻结的代理模型即可提取作者身份证据，READER 降低了对专有模型内部结构的依赖，为构建通用的、可解释的溯源工具奠定了基础。

总之，READER 不仅是一个性能优越的溯源工具，更是一个连接 LLM 内部表示与外部可观测行为的重要桥梁，为未来构建可信、可追溯的 AI 生态系统提供了关键技术支撑。