REDACT：一个系统化控制的多语言个人身份信息检测基准

背景

在自然语言处理（NLP）领域，个人身份信息（Personally Identifiable Information, PII）的检测是数据隐私保护、合规性审查以及模型安全对齐中的关键环节。然而，现有的 PII 检测基准基础设施存在显著局限：

1. 实体类型覆盖不足：现有语料库通常仅涵盖少数几种实体类型，无法全面反映现实世界中复杂的个人信息形态。
2. 生成条件随意：数据生成往往缺乏系统性控制，采用“临时性”（ad hoc）的方法，导致数据分布偏差，难以模拟真实场景中的多样性。
3. 缺乏归因分析能力：现有基准无法清晰地展示哪些具体的表面形式（surface-form）条件导致了检测器的失败，使得研究者难以针对性地改进模型。

为了弥补这些差距，研究人员提出了 REDACT，这是一个系统化控制的多语言 PII 检测基准。该基准旨在通过严格控制的变量，深入剖析不同检测器在复杂、多语言环境下的性能边界和失败模式。

核心内容

REDACT 基准的核心在于其大规模、多维度且受控的数据生成机制。以下是该基准的详细构成与技术细节：

1. 数据规模与多样性

REDACT 包含以下关键统计数据：

• 记录总数：13,427 条。
• 实体标注总数：324,078 个。
• 实体类型：51 种。
• 表面形式模式：4,127 种。
• 语言覆盖：25 种语言，涵盖 9 种不同的书写系统（scripts）。

这种规模和多语言覆盖使得 REDACT 能够评估模型在跨语言、跨书写系统场景下的泛化能力。

2. 系统化控制生成机制

REDACT 的核心创新在于使用 Strength-2 覆盖数组采样器（Strength-2 covering-array sampler） 来控制数据生成的九个轴（axes）。这九个维度确保了数据生成的系统性和可控性，具体包括：

1. 领域（Domain）：数据所属的业务或应用场景。
2. 格式（Format）：信息的呈现格式（如日期、电话号码的不同写法）。
3. 难度（Difficulty）：识别的难易程度。
4. 长度（Length）：文本或实体的长度。
5. 密度（Density）：单位文本中 PII 的密集程度。
6. 代码切换（Code-switching）：混合使用多种语言或方言的情况。
7. 语言（Language）：具体的语言种类。
8. 邻接性（Adjacency）：实体与其他上下文信息的邻近关系。
9. 共现性（Co-occurrence）：多个实体同时出现的情况。

3. 细粒度的元数据与分层评估

除了基本的实体标注，REDACT 引入了三个实体级别的元数据字段，以支持超越传统聚合 F1 分数的分层评估：

• 披露状态（Disclosure Status）：信息是否被明确披露。
• 披露形式（Disclosure Form）：信息是以字面形式（verbatim）还是非字面形式呈现。
• GDPR 对齐的敏感度层级（GDPR-aligned sensitivity tier）：根据通用数据保护条例（GDPR）对齐的敏感度分级。

这种设计允许研究者不仅看整体准确率，还能分析模型在特定敏感度层级或特定披露形式下的表现。

4. 基准测试与结果分析

研究人员从完整基准中抽取了一个锁定（locked）、按语言分层的 1,000 条记录样本，对五种主流检测器进行了评估：

• Presidio：基于规则的开源 PII 检测框架。
• GLiNER：通用NER模型。
• OpenAI Privacy Filter：OpenAI 提供的隐私过滤服务。
• GPT-4.1：OpenAI 的大型语言模型。
• Claude Sonnet 4.6：Anthropic 的大型语言模型。

主要发现：

• 聚合 F1 分数的误导性：聚合的 F1 分数掩盖了架构依赖的失败结构。
• 基于规则检测器的弱点：Presidio 在高风险数据上表现较差，特别是在 HIGH（高） 敏感度类别中，召回率仅为 0.07，且在非字面披露形式上表现不佳。
• LLM 检测器的鲁棒性：大语言模型（LLM）检测器表现更为稳健。值得注意的是，HIGH 敏感度层级反而是 LLM 检测器表现最强的敏感度切片。
• 最难的任务轴：通过三个模型的无参考 LLM-as-judge（以LLM为裁判）评估，证实了敏感度层级分配是该任务中最困难的维度。

关键要点

• 系统性控制：REDACT 通过 Strength-2 覆盖数组采样器，系统性地控制了领域、格式、难度、长度、密度、代码切换、语言、邻接性和共现性这九个生成轴，解决了现有基准生成条件随意的问题。
• 多语言与多书写系统：基准涵盖 25 种语言和 9 种书写系统，提供了 13,427 条记录和 324,078 个实体标注，极大地丰富了 PII 检测的数据多样性。
• 细粒度评估指标：引入披露状态、披露形式和 GDPR 对齐的敏感度层级三个元数据字段，使得评估可以从简单的聚合 F1 深入到特定风险层级的表现分析。
• 规则模型 vs. LLM：评估结果显示，基于规则的检测器（如 Presidio）在高敏感度数据和非字面形式上表现极差（召回率低至 0.07），而 LLM 检测器（如 GPT-4.1, Claude Sonnet 4.6）表现出更强的鲁棒性，且在高敏感度层级上表现最佳。
• 敏感度层级是难点：LLM-as-judge 评估确认，区分和分配正确的敏感度层级是 PII 检测任务中最具挑战性的方面。
• 资源开源：研究人员公开了基准数据、模式定义（schema）、提示词（prompts）以及分层评估工具包（stratified evaluation harness），以促进社区研究。

意义与影响

REDACT 的发布对 PII 检测和隐私保护领域具有深远意义：

1. 提供更真实的评估标准：通过系统化控制变量，REDACT 能够更准确地揭示检测器在复杂现实场景（如代码切换、非标准格式）下的真实性能，避免了现有基准因数据偏差导致的评估失真。
2. 指导模型优化方向：研究结果明确指出，基于规则的方法在处理高敏感度和非字面信息时存在严重缺陷，而 LLM 在此类任务上更具优势。这为开发者选择或改进 PII 检测工具提供了实证依据，提示在高风险场景下应优先考虑基于 LLM 的方案或混合架构。
3. 推动合规性技术落地：通过引入 GDPR 对齐的敏感度层级，REDACT 帮助技术团队更精细地管理数据合规风险，确保高敏感个人信息得到更严格的保护和处理。
4. 促进多语言隐私研究：覆盖 25 种语言和 9 种书写系统的基准，为全球范围内的隐私保护研究提供了宝贵资源，有助于解决非英语语境下的 PII 检测难题。

总之，REDACT 不仅是一个新的基准数据集，更是一套系统化的评估方法论，它通过揭示检测器的深层失败模式，推动了 PII 检测技术向更鲁棒、更细粒度、更合规的方向发展。