Detect, Remask, Repair: Diffusion Editing for Faithful Summarization of Evolving Contexts

背景

在现实世界中，随着时间推移和新信息的不断涌入，关于特定事件或上下文的摘要往往会变得过时。面对这种“上下文演化”（Evolving Contexts），目前业界常见的应对策略是丢弃旧摘要，基于更新后的完整上下文重新生成一份全新的摘要。

然而，这种“全量重写”（Full Regeneration）的方法存在几个显著缺陷：

1. 信息丢失：完全丢弃之前的草稿，导致无法保留那些依然准确、未被推翻的内容。
2. 透明度低：新摘要往往掩盖了具体发生了哪些变化，用户难以直观对比新旧信息的差异。
3. 效率低下：当只有少数几个主张（Claims）变得不再支持或过时，而大部分内容依然有效时，重新生成整个摘要是不必要的资源浪费。

因此，研究重点逐渐转向“局部忠实性修复”（Localized Faithfulness Repair），即在保留现有摘要中受支持内容的前提下，仅更新那些过时或错误的片段。

核心内容

本文提出了一种名为 DETECT-REMASK-REPAIR 的基于扩散模型（Diffusion-based）的框架，旨在解决上述问题。该框架利用掩码扩散语言模型（Masked Diffusion Language Models），对过时区域进行识别、重新掩码和修复。

1. DETECT-REMASK-REPAIR 框架详解

该工作流程分为三个核心步骤：

• Detect（检测）： 系统首先分析现有摘要与最新上下文之间的关系，识别出哪些文本片段（Spans）已经过时或与新事实不符。这一步旨在定位需要修改的具体区域，而非盲目修改全文。

• Remask（重新掩码）： 一旦检测到过时区域，框架会将这些特定位置的 token 替换为掩码（Mask）。这保留了摘要中其余部分的结构和语义，仅将需要更新的部分“挖空”。

• Repair（修复）： 利用扩散语言模型，基于新的上下文信息，对掩码区域进行生成和修复。扩散模型通过逐步去噪的过程，生成既符合新事实又与上下文风格一致的文本，从而完成局部更新。

2. 数据集与评估基准：StreamSum

为了评估模型在演化上下文下的表现，作者引入了一个新的基准测试集 StreamSum。

• 构成：StreamSum 包含合成的事件时间线（Synthetic Event Timelines）。
• 目的：模拟真实世界中信息随时间逐步流入的场景，测试模型在上下文动态变化时维持摘要忠实度（Faithfulness）的能力。

3. 实验结果

作者在 DialogSum 和 StreamSum 两个数据集上进行了实验，主要发现如下：

• 可控的替代方案：局部扩散修复提供了一种比全量重写更可控的摘要更新方式。
• 忠实性提升：通过忠实性引导（Faithfulness-steered）的修复过程，能够显著改善早期草稿中的错误。
• 极高的效率：一步修复（One-step repair）将修复成本降低到 0.5 秒以下。
• 权衡能力：该框架允许在不同数据集上灵活权衡忠实性、速度和内容保留率。
• 通用性：除了直接用于生成，该框架还可以作为自回归系统（Autoregressive Systems）的事后修正步骤（Post-hoc correction step），进一步提升其输出的忠实性。

关键要点

• 问题定义：传统的全量重写摘要方法在上下文演化时效率低、透明度差，且无法保留有效信息。
• 方法创新：提出了 DETECT-REMASK-REPAIR 框架，利用掩码扩散语言模型实现摘要的局部、精准修复。
• 新基准：发布了 StreamSum 数据集，专门用于评估演化上下文下的摘要生成能力。
• 性能优势：
  • 速度：一步修复耗时低于 0.5 秒，大幅降低计算成本。
  • 质量：在保持高忠实度的同时，有效保留了未过时的内容。
  • 兼容性：可作为现有自回归摘要模型的后处理工具，提升整体系统性能。
• 核心机制：通过“检测-重掩-修复”三步走，实现了从“全局生成”到“局部编辑”的范式转变。

意义与影响

这项研究在自然语言处理（NLP）和摘要生成领域具有重要的理论和应用价值：

1. 推动动态摘要技术的发展：随着信息流（如新闻、社交媒体、监控数据）的实时性和动态性增强，传统的静态摘要方法已难以满足需求。本文提出的局部修复机制为构建能够随时间演进的“活摘要”系统提供了可行的技术路径。
2. 提升大语言模型的可控性与效率：扩散模型在文本生成中的应用日益广泛。本文展示了扩散模型在“编辑”而非“从头生成”任务中的独特优势——即在保持上下文一致性的同时，以极低的计算成本进行精准修改。这为降低大模型推理成本提供了新思路。
3. 增强人机协作中的透明度：通过保留未修改部分并明确标识变化区域，该技术有助于用户快速理解信息的变化点，增强了 AI 生成内容的可解释性和可信度。
4. 扩展了模型的应用场景：该框架不仅适用于摘要任务，其“检测-修复”的逻辑也可迁移至其他需要动态更新文本内容的场景，如代码维护、文档版本管理等。

总之，DETECT-REMASK-REPAIR 框架通过引入扩散模型进行局部编辑，为解决演化上下文下的摘要过时问题提供了一种高效、可控且忠实的新方案，标志着摘要生成从“静态生成”向“动态维护”的重要迈进。