UNIT框架释放大语言模型图持续学习潜力

背景

在现实世界的多模态网络场景中，图结构数据往往以流式方式到达，这使得图持续学习（Graph Continual Learning）成为持续建模此类演化结构的关键范式。然而，现有的图持续学习方法仍面临两个根本性挑战：

1. 语义-结构分离：基于图的方法擅长建模拓扑关系，但忽略了深层语义。
2. 知识迁移不平衡：现有模型未能有效利用从早期任务中获得的通用知识来帮助后续新任务。

为解决上述问题，本文提出了一种新颖的框架——UNIT（Unleash Large Language Models Potential for Graph Continual Learning）。

核心内容

UNIT 框架的核心思想是利用大型语言模型（LLM）增强图持续学习能力，通过三种关键机制克服上述挑战：

1. 单任务微调适配：仅对第一个任务对 LLM 进行微调，从而弥合预训练 LLM 语料与目标任务数据集之间的分布差异，增强 LLM 对图结构任务的适应性。
2. 不确定性感知的锚点生成机制：该机制能够有效保留各任务中的代表性知识，避免忽略从先前任务中学到的通用知识。
3. 结构融合建模：显式地将图拓扑信息整合到语义信息中，增强语义理解与结构建模之间的协同能力。

在具体实现中，UNIT 通过将图结构数据转化为 LLM 可处理的序列，并利用 LLM 的强语义理解能力来弥补传统图方法在语义建模上的不足。同时，通过不确定性感知锚点（uncertain-aware anchor）对旧任务知识进行压缩和保留，平衡新任务学习与旧知识遗忘。结构融合建模则通过注意力机制或图神经网络将结构信号注入语义表示，实现两者的联合优化。

大量实验表明，UNIT 在图持续学习任务中取得了最先进的性能。

关键要点

• 仅对首个任务微调：UNIT 不采用常规的持续微调策略，而是只在第一个任务上微调 LLM，避免了灾难性遗忘，同时利用 LLM 强大的泛化能力处理后续任务。
• 不确定性感知锚点生成：通过引入不确定性度量，生成能够代表不同任务核心知识的锚点（anchor），确保知识库的紧凑性和代表性，防止旧知识被新任务完全覆盖。
• 结构-语义融合建模：直接在图拓扑信息与语义表示之间建立显式连接，解决传统图方法缺乏语义、LLM 方法忽略结构的双重缺陷。
• 端到端联合训练：虽然微调只在第一个任务进行，但整个框架仍然通过任务序列进行端到端优化，逐步调整锚点池和融合策略。
• SOTA 性能验证：在多个公开图持续学习基准数据集上，UNIT 超越了所有现有方法，包括基于图神经网络（GNN）和基于 LLM 的蒸馏/回放方法。

意义与影响

• 首次将 LLM 引入图持续学习：UNIT 开辟了利用预训练大语言模型能力解决图流式学习问题的新路径，突破了传统方法依赖小规模 GNN 或手工特征工程的局限。
• 解决语义-结构分离问题：通过结构融合建模，UNIT 为图学习领域提供了一个通用范式——如何在不丢失拓扑信息的前提下，充分利用 LLM 的语义先验。
• 降低持续学习中的遗忘风险：不确定性感知锚点生成机制可作为一种高效的知识蒸馏/回放策略，为其他持续学习场景（如视觉、文本）提供借鉴。
• 推动多模态网络分析：现实中的流式图数据常伴随文本、图像等多模态信息，UNIT 的框架天然支持将 LLM 作为通用语义处理器，未来可扩展至更复杂的多模态图持续学习任务。