AI自动搜索联邦学习算法的创新工具

背景

联邦学习（Federated Learning，FL）已成为分布式机器学习的重要范式，尤其在医疗健康等跨机构场景中具有实际价值。研究者通常需要对多个关键算法组件进行精心设计，包括优化器变体、服务器聚合规则、本地训练调度、归一化、规则化和模型架构等。这些选择对最终模型性能至关重要，但手动探索的成本极高，且候选方案的改动往往会同时影响联邦学习训练路径和评估流程，导致公平比较变得困难。为此，Auto-FL-Research（AFR）应运而生，旨在通过自动化方式系统性地搜索和优化联邦学习算法配方。

核心内容

Auto-FL-Research（AFR）是一个约束编码智能体工作流，专为联邦学习算法配方搜索而设计。该系统允许智能体提出并实现候选训练算法，这些算法包括服务器聚合规则、客户端更新调度、本地目标函数以及注册的模型变体。每个任务配置文件会固定可变表面（mutation surface），例如计算预算、通信合约以及最终模型评估标准。

整个搜索过程分为多个campaign，每个campaign会完整记录候选方案的评分、运行时间、已编辑文件、生成工件以及失败状态。这一设计确保了可重复性、可追溯性和全面评估。

实验评估基于五个医疗健康跨 silo FLamby 任务，以及分群客户端配置文件（covering five fixed LEAF 数据集和一个 LEAF 合成任务）。所有结果均通过五个种子重复评估进行验证。实验结果显示，AFR 在四个 FLamby 任务上取得显著提升，并在六个 LEAF 配置文件中的五个上获得改进效果。同时，研究者还识别出种子敏感性问题和搜索中筛选出的失败案例。

为进一步分析提升来源，研究者设计了同预算控制实验（same-budget controls）。这些实验表明：部分性能提升源于实际的联邦学习配方改动（FL-recipe changes），而其他改进则可通过固定表面上的标量控制（fixed-surface scalar controls）实现；此外，还有一些提升仅在单次运行或特定评估中出现，未能通过重复或留出测试（held-out evaluation）验证。这些混合结果正是该工作的核心贡献之一：它清晰展示了智能体生成候选方案如何被细分为“重复的联邦学习机制改进”“固定表面的调优效应”以及“选定的单次运行工件”。

关键要点

• AFR 采用约束编码智能体工作流，智能体可自由提出并实现服务器聚合、客户端调度、本地目标及模型变体，同时任务配置文件严格限定可变空间、计算预算和评估标准。
• 每个campaign全程记录候选评分、运行时长、修改文件、工件及失败状态，确保透明度与可重复性。
• 实验覆盖五个医疗 FLamby 任务及 LEAF 数据集系列（含固定与合成任务），均通过五个种子重复评估。
• 结果显示 AFR 在四个 FLamby 任务和五个 LEAF 配置文件上取得提升，并揭示了种子敏感性与筛选失败案例。
• 同预算控制实验证实：部分提升源于真实 FL 机制改动，部分可被固定表面调优覆盖，另有部分为单次运行或评估工件，未经多轮验证。

意义与影响

Auto-FL-Research 标志着联邦学习算法优化的范式转变：从传统人工实验转向受约束的智能体驱动搜索。这一方法不仅显著降低了算法设计门槛，还为医疗健康等高敏感场景提供了可扩展的自动化研究管道。研究通过混合结果的深入分析，揭示了智能体搜索的局限性与潜力，提醒研究者需同时关注配方变化、表面调优和偶然效应，从而为后续联邦学习研究提供了方法论范例。随着更多任务和数据集的扩展，AFR有望成为联邦学习算法探索的标准化工具，推动AI在隐私保护和分布式场景中的实际应用。