MosaicLeaks研究：AI研究代理能否守住秘密？

背景

大型语言模型驱动的深度研究代理（deep research agent）正在被越来越多地用于处理需要结合本地私有文档和外部网络检索的复杂任务。例如，一家医疗公司的研究代理需要回答一个涉及内部云迁移进度和公开安全事件的问题。代理在执行任务时，会向外部搜索引擎发出多轮查询。然而，这些查询本身可能泄露私有信息。即使单个查询看起来无害，但多个查询组合在一起，可能形成“马赛克效应”（mosaic effect）——让外部观察者拼凑出本应保密的内部事实。这种现象被称为 MosaicLeaks，是本文提出的核心隐私泄露问题。

核心内容

MosaicLeaks 定义了一个新的深度研究任务，其中包含多跳问题（multi-hop questions），这些问题交替依赖本地私有文档和公开网络文档。代理在回答时必须生成对外查询，而查询日志成为潜在的泄露渠道。攻击者无法看到私有文档或代理的推理过程，只能观察到累积的查询日志，并试图从中推断出私有企业信息。

泄露度量

MosaicLeaks 从三个层次衡量泄露程度：

1. 意图泄露（Intent leakage）：观察者能从查询日志推断出代理正在研究什么问题。
2. 答案泄露（Answer leakage）：观察者能够利用查询日志回答一个已知的、关于私有文档的具体问题。
3. 全信息泄露（Full-information leakage）：观察者无需事先知道问题，就能从查询日志中发现并陈述可验证的私有事实。

这三个层次代表了泄露严重程度的递增。

构建 MosaicLeaks 数据集

MosaicLeaks 包含 1,001 条多跳研究链（research chains），覆盖本地企业文档和一个受控的网络文档语料库。每条链交替包含本地子问题和网络子问题，前一个子问题的答案成为下一个子问题的桥梁实体（bridge entity），迫使代理先检索本地信息才能形成有用的网络查询。本地文档来自 DRBench 风格的企业任务，网络文档来自 BrowseComp-Plus。最终数据集划分为 559 条训练链、98 条验证链和 344 条保留公司测试链。

示例链

以“MediConn 云迁移”链为例：代理需要先回答一个本地事实（MediConn 在 2025 年 1 月前已将 70% 的基础设施迁移到云端），然后才能提出一个关于该供应商安全事件的网络查询。最终的网络查询本身不包含私有信息，可以从公开文档回答，但由于路径依赖，查询中携带了“MediConn”、“70%”和“January”等上下文，足以让攻击者恢复内部信息。

代理框架

论文采用简化的代理框架（改编自 DRBench）。模型对每个子问题输出简短答案和理由，允许通过标准化字符串匹配逐跳评估。在每一轮迭代中，代理可使用四个工具：

• Plan：生成本地和网络搜索查询，返回文档卡片。
• Choose：选择要阅读的检索文档。
• Read：从选中的文档并行尝试回答当前跳。
• Resolve：决定是给出答案、阅读更多文档，还是重新规划搜索。

简单提示能否防止泄露？

最直接的修复是给 Plan 提示添加一句：“不要发出泄露本地信息的网络查询”。实验结果显示，提示对某些模型有轻微帮助，但效果不一致，且显著泄露仍然存在。对于 Qwen3-4B，提示将答案/全信息泄露从 34.0% 降低到 25.5%，但严格链成功率（strict chain success，即每一跳都正确回答的链的比例）从 48.7% 下降到 44.5%。主要行为变化是网络查询数量减少，而非查询构造更安全。

提升任务性能反而加剧泄露

在训练隐私保护之前，研究人员尝试只训练代理更好地完成任务。严格链成功率从 48.7% 提升到 59.3%，但答案/全信息泄露同步从 34.0% 飙升至 51.7%。模型学会了在查询中打包更多上下文，这有助于检索正确文档，但损害了隐私——每个更丰富的查询都给观察者提供了更多碎片。

PA-DR：隐私感知深度研究训练

MosaicLeaks 提出的解决方案是 Privacy-Aware Deep Research (PA-DR)，一种结合两种奖励的强化学习方法：

1. 情境任务奖励（Situational task reward）：由于一条研究轨迹可能包含数十次模型调用，给整个轨迹相同的最终分数会带来弱信用分配问题。PA-DR 将每次调用与同一阶段、同一跳、拥有相同可用信息的其他调用进行比较。Plan 调用因搜索正确来源并检索到正确文档而获得奖励；如果该文档已在手，则不再次搜索。Choose 调用因选择包含答案的文档而获得奖励。这些阶段的可期望行为可以直接检查。

2. 学习型隐私奖励（Learned privacy reward）：每当代理生成网络查询时，一个 Qwen3-4B 分类器评估两种风险：当前查询是否直接泄露私有信息，以及将当前查询添加到已有查询日志后是否产生新的马赛克泄露。PA-DR 对两者中的较大者施以惩罚，使隐私成本落在使查询日志更具揭示性的具体规划决策上。

实验结果

PA-DR 将严格链成功率从基线（未训练）的 48.7% 提升到 58.7%，同时将答案/全信息泄露从 34.0% 大幅降低到 9.9%。这个泄露率甚至低于未训练的基线的 34.0%，说明隐私训练没有简单抵消任务训练带来的泄露，而是让代理泄露比初始状态更少。值得注意的是，PA-DR 实际上比基线发出了更多的网络查询，但这些查询去掉了具体的指标（如“15%”或“2024”）以及答案类型的线索。代理仍然能找到正确的公开文档，只是不再在查询文本中携带私有碎片。

关键要点

• 马赛克效应是核心风险：单个查询看似无害，但查询日志的累积可以拼凑出私有信息。
• 泄露是多层次的：意图泄露、答案泄露和全信息泄露代表了不同严重程度，全信息泄露最危险。
• 简单提示无效：直接告诉代理不要泄露，效果有限且可能损害任务性能，主要只是减少了查询数量。
• 任务性能提升会放大泄露：强化学习优化任务成功时，代理倾向于在查询中携带更多上下文，导致泄露加剧。
• PA-DR 通过双重奖励同时优化性能和隐私：情境任务奖励提供细粒度信用分配，学习型隐私奖励惩罚会使查询日志更具揭示性的决策。
• PA-DR 实现了“少泄露”而非“少搜索”：代理