MLUBench：多模态大模型终身遗忘评估基准深度解读

背景

随着多模态大语言模型（Multimodal Large Language Models, MLLMs）在训练数据规模上的不断扩张，数据隐私与合规性问题日益凸显。数据所有者有权要求移除其提供的特定内容，这使得“数据遗忘”（Data Unlearning）成为 AI 领域一个至关重要的研究方向。

然而，现实世界中的数据移除请求并非一次性发生，而是随着时间推移连续、序列性地到达。这种动态场景引出了一个极具挑战性的新问题：MLLM 终身遗忘（Lifelong Unlearning）。与传统的单次遗忘不同，终身遗忘要求模型在持续遗忘特定数据的同时，保持对其他数据的记忆能力和整体性能稳定。

尽管该问题至关重要，但现有的基准测试（Benchmarks）在规模和范围上均存在局限，无法准确捕捉 MLLM 终身遗忘的复杂性。为了填补这一空白，研究人员提出了 MLUBench，这是一个大规模、全面的评估基准，旨在标准化和推动 MLLM 终身遗忘技术的发展。

核心内容

1. MLUBench 基准介绍

MLUBench 是一个专为评估 MLLM 终身遗忘能力而设计的大规模基准测试。其核心特征包括：

• 规模与多样性：涵盖了 9 个类别下的 127 个实体（Entities）。
• 场景模拟：模拟了真实的终身遗忘请求场景，即遗忘请求是随时间序列到达的，而非一次性批量处理。

2. 现有方法的局限性分析

通过 MLUBench 进行的广泛实验揭示了当前主流遗忘方法在面对终身遗忘任务时的严重缺陷：

• 累积性性能退化：现有的遗忘方法在处理连续的遗忘请求时，会出现严重的、累积性的性能下降。这意味着随着遗忘操作的进行，模型的整体能力会不断受损，且难以恢复。

3. 核心挑战：多模态对齐的约束

研究进一步识别出 MLLM 终身遗忘区别于单模态模型（如纯文本 LLM）的独特挑战：

• 多模态对齐的脆弱性：在单模态模型中，遗忘某类数据通常只影响该模态的内部表征。但在 MLLM 中，文本、图像等不同模态之间存在紧密的对齐关系（Alignment）。
• 连锁反应：持续从某一特定模态（例如图像模态）中遗忘数据，可能会破坏模态间的对齐结构，从而导致整个模型的性能退化，而不仅仅是受影响模态的性能下降。

4. 解决方案：LUMoE

为了缓解上述挑战，研究团队提出了一种名为 LUMoE 的新方法。

• 有效性验证：实验结果表明，LUMoE 能够显著缓解基线方法所面临的性能退化问题，在保持模型整体性能的同时，有效执行终身遗忘任务。

5. 开源贡献

为了促进社区研究，作者已开源了 MLUBench 数据集以及 LUMoE 方法的源代码。

关键要点

• 问题定义：MLLM 的终身遗忘是指模型在随时间序列到达的遗忘请求下，持续移除特定数据并维持整体性能的能力。
• 基准创新：MLUBench 是目前首个涵盖 9 类 127 个实体、专门针对 MLLM 终身遗忘的大规模基准测试。
• 主要发现：现有遗忘方法在处理连续遗忘请求时，存在严重的累积性性能退化问题。
• 独特挑战：MLLM 的终身遗忘受到“多模态对齐”的严格约束。从单一模态遗忘数据可能破坏模态间关联，导致全模型性能崩溃，这是单模态模型所不具备的特性。
• 技术突破：提出的 LUMoE 方法能有效抑制性能退化，显著优于现有基线方法。
• 资源开放：MLUBench 数据集及 LUMoE 代码已开源，供社区复现和研究。

意义与影响

MLUBench 的发布标志着多模态 AI 治理与合规性研究进入了一个新的阶段。其意义主要体现在以下几个方面：

1. 填补评估空白：在此之前，缺乏针对 MLLM 动态、长期遗忘场景的标准评估工具。MLUBench 提供了标准化的测试床，使得不同遗忘算法的性能可以进行公平、一致的比较。
2. 揭示深层机制：研究明确指出“多模态对齐”是 MLLM 遗忘过程中的关键瓶颈。这一发现引导研究者从单纯关注参数更新转向关注模态间关系的维护，为设计更鲁棒的遗忘算法指明了方向。
3. 推动合规落地：随着 GDPR 等数据隐私法规的实施，企业需要能够精确、高效地执行数据删除请求。MLUBench 和 LUMoE 的提出，为解决 MLLM 在实际部署中的隐私合规难题提供了可行的技术路径。
4. 促进社区发展：通过开源基准和数据，研究降低了该领域的入门门槛，鼓励更多开发者参与多模态模型安全与隐私保护的研究，加速相关技术的成熟与应用。