PASTA：一种用于大语言模型知识更新的复述与自训练方法

背景

预训练大语言模型（LLMs）的知识更新一直是人工智能领域面临的重要挑战。尽管持续训练（Continual Training）为知识更新提供了一条潜在途径，但在技术实现上仍存在显著困难。此外，LLMs 在回答涉及特定事实信息（如新闻文章）的问题时往往表现不佳，这一能力局限性在研究社区中已得到广泛认可。

随着信息时代的快速迭代，模型训练数据截止（Knowledge Cutoff）之后的新事实无法被模型自然习得。传统的微调方法往往难以在注入新知识的同时，有效抑制幻觉并保留模型的通用语言能力。因此，亟需一种高效、简便且能同时解决知识覆盖与幻觉抑制问题的框架。

核心内容

本文提出了 PASTA（Paraphrasing And Self-Training Approach，复述与自训练方法），这是一个简单但强大的框架，旨在将从新闻文章中提取的详细事实信息作为新知识整合进 LLMs 中。其核心目标是通过构建专门化的模型，使其能够准确回答关于这些新知识的问题。

PASTA 框架主要包含以下三个关键组成部分：

1. 数据增强与问答生成： 框架首先利用数据增强技术处理原始新闻数据，并自动生成对应的问答对（Question-Answering Pairs）。这一步骤旨在将非结构化的新闻文本转化为模型易于学习的结构化指令数据。

2. 创新的自学习 DPO 过程： PASTA 引入了一种新颖的自学习直接偏好优化（Self-learning DPO, Direct Preference Optimization）流程。与传统监督微调（SFT）不同，DPO 通过偏好数据来优化模型，使其更倾向于生成符合事实的回答。PASTA 的自学习机制使得该过程能够同时实现两个目标：

   • 知识覆盖（Knowledge Overwriting）：有效地用新的事实信息覆盖模型中过时或错误的旧知识。
   • 幻觉抑制（Hallucination Suppression）：减少模型在回答特定事实问题时产生虚构内容的可能性。

3. 系统性参数与配置分析： 通过对学习参数和数据配置的深入分析，研究团队提供了关于高效知识更新的深刻见解。这包括如何平衡新知识的注入与通用语言能力的保持，以及如何优化超参数以达到最佳更新效果。

在实验评估中，研究人员使用了基准模型知识截止之后发布的网络文章作为测试数据。结果显示，PASTA 在保持通用语言能力的前提下，将回答特定事实问题的准确率从 0.02 大幅提升至 0.82。这一显著改进证明了 PASTA 在创建领域专用 LLMs 方面的有效性。

关键要点

• 解决核心痛点：PASTA 直接针对 LLMs 难以更新训练数据截止后新知识、以及容易在事实性问题中产生幻觉两大痛点。
• 方法论创新：结合了数据增强、自动问答生成以及自学习 DPO（直接偏好优化），形成了一套完整的知识更新流水线。
• 双重优化目标：其自学习 DPO 过程不仅实现了旧知识的覆盖，还同步抑制了幻觉，解决了传统微调中“灾难性遗忘”或“过度拟合”的难题。
• 卓越的实验表现：在针对新闻类事实知识的测试中，准确率实现了从 0.02 到 0.82 的巨大飞跃，且未牺牲模型的通用语言处理能力。
• 实用性强：该方法被描述为“简单 yet powerful”，意味着其实施门槛相对较低，适合构建针对特定领域（如实时新闻、特定行业知识）的专用 LLMs。

意义与影响

PASTA 的提出为大语言模型的知识更新提供了一种极具潜力的解决方案。其意义主要体现在以下几个方面：

1. 推动动态知识模型的落地：传统 LLMs 一旦训练完成，其知识便固定不变。PASTA 展示了一种低成本、高效率的持续更新机制，使得构建能够反映最新事实的“动态”模型成为可能，这对于新闻聚合、金融分析等时效性要求极高的应用场景具有重要意义。
2. 优化微调范式：通过引入自学习 DPO，PASTA 证明了偏好优化在知识更新任务中的优越性。它表明，通过引导模型学习“正确”与“错误”回答的偏好，比单纯的监督微调更能有效抑制幻觉并实现知识覆盖。
3. 平衡专业化与通用性：实验结果证实，在注入大量特定领域新知识的同时，模型并未丧失通用的语言理解与生成能力。这解决了领域专用模型（Domain-Specialized LLMs）开发中的核心矛盾，即如何在提升垂直领域能力的同时保持模型的泛化性能。
4. 为后续研究奠定基础：通过对学习参数和数据配置的详细分析，PASTA 为后续研究提供了可复现的实验基准和理论洞察，有助于社区进一步探索如何更高效、更鲁棒地更新大模型内部的知识表示。