面向联邦持续学习的异构感知基准库HERO发布

背景

联邦持续学习（Federated Continual Learning, FCL）旨在评估分布式客户端如何从动态变化的数据流中学习，同时保留先前学到的知识。然而，现有的评测工作难以相互比较，因为它们经常同时更改数据集、任务划分、客户端数据划分、任务顺序、骨干网络、记忆假设以及报告规则。这种耦合式的设计使得不同方法之间的性能对比缺乏公平性和可复现性，也阻碍了社区对 FCL 方法真实行为的理解。为了解决这一问题，需要一套标准化、可配置且面向异构性的基准库。

核心内容

HERO 是一个面向异构性的联邦持续学习基准库。它的核心思路是将传统评价中经常被耦合的三项选择解耦，分别是：任务划分（task split）、客户端数据划分（client data split）以及客户端任务序列（client task sequence）。通过这种解耦，HERO 能够构建出可重复、可比较的基准流（benchmark streams）。

HERO 的主体部分称为 HERO-Core，它是主要的可比基准。其中，参数 $\alpha$ 控制客户端数据的偏斜程度（label distribution skew），参数 $\rho$ 控制任务顺序的不匹配程度（task-order mismatch）。这两个参数允许研究者精细地调节异构性的两个关键维度。

在实验验证部分，研究者使用 CIFAR-100 和 TinyImageNet 两个数据集，评估了多种代表性 FCL 方法，采用的指标包括：最终平均准确率（Final Average Accuracy）、平均遗忘率（Average Forgetting）以及底部 10% 客户端准确率（Bottom-10% Client Accuracy）。此外，为了验证 HERO 的通用性，研究者还在基于图的 Domain-IL（Domain Incremental Learning）可移植性案例上进行了实验，数据集为 OGB-MolPCBA。在该案例中，通过改变支架域（scaffold-domain）的粒度来改变输入分布，但预测任务保持不变。

实验结果显示：方法的行为在简单设置和异构设置下存在显著差异；平均准确率可能掩盖底层客户端（bottom-client）的弱性能；任务顺序的不匹配会导致与同步评测不同的策略偏好；同时，HERO 的同一接口能够揭示图像之外的领域漂移难度（domain-shift difficulty），超越了基于图像的联邦持续学习（FCIL）。HERO 发布了完整的基准流、配置、方法实现以及报告脚本，以支持可复现且环境感知的 FCL 评测。

关键要点

• 解耦设计：将任务划分、客户端数据划分、客户端任务序列三者解耦，避免传统方法中耦合带来的混淆，使基准流可独立配置，从而隔离不同因素的影响。
• 两个关键异性参数：$\alpha$ 控制客户端间的数据标签分布偏斜，$\rho$ 控制不同客户端之间任务顺序的错位程度，两者共同刻画联邦持续学习中常见的异构场景。
• 多层次评估指标：除了常用的最终平均准确率和平均遗忘率，还引入了底部 10% 客户端准确率，用于暴露平均指标可能掩盖的客户端性能不平等问题。
• 跨领域验证：不仅在图像分类基准（CIFAR-100, TinyImageNet）上测试，还扩展到图数据的 Domain-IL 场景（OGB-MolPCBA），展示 HERO 接口的通用性和对领域漂移难度的量化能力。
• 可复现性承诺：发布完整的基准流、配置、方法实现和报告脚本，使后续研究能够在统一设置下进行公平比较，并允许用户自定义探索其他异构因素。

意义与影响

HERO 填补了联邦持续学习领域缺乏标准化、可比较基准库的空白。通过将异构性因素（数据偏斜和任务顺序错位）显式参数化，研究者能够系统性地考察 FCL 方法在不同困难程度设定下的表现，从而避免“在简单设定下有效、在异构设定下失效”的虚假结论。底部客户端准确率的引入也提醒社区关注联邦学习中常见的边缘设备或弱势参与者的性能退化问题。此外，HERO 的接口设计不局限于图像数据，未来可扩展至图、文本、时序等多种模态，为整个 FCL 乃至更广泛的异构联邦学习研究提供基础设施。这不仅有助于提升该领域的实验严谨性，也推动了可复现性和开放科学的发展。