基于 BART 与分层策略的越南语抽象式多文档摘要技术解读

背景

多文档摘要（Multi-Document Summarization, MDS）旨在从一组相关文档中提取关键信息，生成一份简洁、连贯且涵盖核心内容的摘要。这一任务在新闻聚合、情报分析和学术综述等领域具有极高的应用价值。然而，对于越南语而言，MDS 的研究长期面临数据稀缺和语言结构复杂的双重挑战。

2022年，越南语言与语音处理国际研讨会（VLSP 2022）正式引入了越南语多文档摘要任务，旨在推动该领域的研究进展。尽管英语等主流语言已有成熟的预训练模型和大量标注数据，但越南语作为低资源语言，其抽象式摘要（Abstractive Summarization）——即模型需理解语义并重新生成自然语言而非简单抽取原文片段——的研究仍处于起步阶段。现有的通用模型在直接迁移至越南语时，往往因缺乏针对性的数据增强和架构优化，导致生成的摘要流畅度不足或信息遗漏严重。

核心内容

本文提出了一种基于 BART（Bidirectional and Auto-Regressive Transformers）架构的解决方案，专门针对 VLSP 2022 提出的越南语抽象式多文档摘要任务。研究团队采用了一种流行的“分层”（Hierarchical）处理策略，并在此基础上引入了创新的文档缩短机制，同时通过整合外部数据源显著提升了模型性能。

1. 分层摘要架构

研究遵循了多文档摘要中经典的两阶段分层方法：

• 第一阶段（文档级压缩）： 首先对输入集合中的每一篇独立文档进行单独摘要，生成单文档摘要。
• 第二阶段（聚合与总结）： 将第一阶段生成的所有单文档摘要作为输入，进行进一步的聚合和总结，最终生成多文档摘要。

这种策略的优势在于能够有效降低单次处理的上下文长度限制，并逐步提炼信息层级。

2. 基于黄金摘要驱动的文档缩短策略

针对分层方法中常见的“信息失真累积”问题，作者提出了一种新颖且简单的策略：利用“黄金摘要”（Golden Summary，即人工标注的标准答案）来驱动文档的缩短过程。

在传统方法中，单文档摘要的质量往往不可控，导致进入第二阶段的输入噪声较大。该研究通过让第一阶段在生成摘要时参考或对齐黄金摘要的关键信息，确保了第一阶段输出与最终目标之间的高度相关性。这种机制有效保证了分层处理各阶段之间的连贯性，减少了因中间步骤误差导致的最终摘要质量下降。

3. 模型性能与生成质量

在 VLSP 提供的公开测试集上，该方法取得了 ROUGE-2 F1 分数为 0.2468 的成绩。ROUGE-2 主要衡量摘要中二元语法（bigram）与参考摘要的重合度，该分数表明生成的摘要在局部语义连贯性和关键词覆盖上达到了较高水平。此外，人工评估显示，模型生成的摘要在越南语中表现出良好的流畅性和简洁性，能够准确传达原文核心意图。

4. 数据增强与社区贡献

为解决越南语 MDS 数据稀缺的核心痛点，研究团队积极利用外部来源获取额外数据。这些外部数据经过清洗和格式化，被整合进训练集中，极大地丰富了越南语多文档摘要的训练语料规模。

更重要的是，作者将这些额外构建的数据集向社区公开。这一举措不仅直接提升了本模型的性能，也为后续研究者提供了宝贵的资源，有助于降低该领域的研究门槛，促进越南语自然语言处理技术的整体发展。

关键要点

• 任务定位：针对 VLSP 2022 提出的越南语抽象式多文档摘要任务，解决低资源语言下的信息整合难题。
• 架构选择：采用基于 BART 的分层（Hierarchical）策略，先单文档摘要，后多文档聚合。
• 创新策略：提出由“黄金摘要”驱动的文档缩短机制，确保分层各阶段间的高相关性，缓解信息丢失。
• 性能指标：在 VLSP 公开测试集上实现 ROUGE-2 F1 得分 0.2468，生成的摘要具备高流畅度和简洁性。
• 数据贡献：整合并利用外部数据源扩充训练集，显著提升数据规模，并将新增数据开源供社区使用。
• 技术价值：通过简单的策略改进和数据增强，在无需复杂模型架构变更的情况下，有效提升了越南语摘要任务的效果。

意义与影响

这项研究对越南语自然语言处理（NLP）领域具有多重积极影响：

1. 突破低资源语言瓶颈：通过数据增强和有效的策略优化，证明了即使在没有海量原生标注数据的情况下，通过合理利用外部资源和改进算法策略，也能在越南语抽象式摘要任务上取得实质性进展。
2. 推动分层方法的应用：研究验证了基于黄金摘要引导的分层策略在保持信息一致性方面的有效性，为其他低资源语言的多文档摘要任务提供了可借鉴的技术路径。
3. 促进生态建设：开源额外构建的数据集是极具价值的贡献。数据是 NLP 发展的基石，这些数据的公开将加速学术界和工业界对越南语理解、生成等下游任务的研究，有助于缩小越南语与英语等高资源语言在 AI 能力上的差距。
4. 实际应用潜力：生成的流畅且简洁的摘要可直接应用于新闻聚合平台、社交媒体内容监控及情报分析系统，提升信息获取效率，满足越南语用户对于高效信息消费的需求。