LLM驱动进化生成多目标贝叶斯优化算法

背景

多目标贝叶斯优化（Multi-Objective Bayesian Optimization, MOBO）是解决需同时权衡多个冲突目标的黑箱优化问题的重要方法，广泛应用于超参数调优、材料设计、工程仿真等领域。然而，设计一个有效的 MOBO 算法涉及众多相互依赖的设计选择（如采集函数形式、代理模型结构、候选点生成策略等），最优配置往往高度依赖具体问题，且需要深厚的领域专家知识。手动调优不仅耗时，且容易陷入局部性能陷阱。近年来，利用大语言模型（LLM）自动生成算法代码的尝试（如 LLaMEA 框架）已展现出在单目标优化中的潜力，但将其扩展到多目标场景仍面临搜索空间更复杂、评估成本更高的挑战。

核心内容

本研究将 LLaMEA 框架扩展到多目标贝叶斯优化领域，提出一种 LLM 驱动的进化生成方法。方法的核心思想是：将大语言模型作为进化策略中的变异算子和交叉算子，由 LLM 直接生成完整的算法实现代码；同时，将 SMAC 超参数优化器嵌入进化循环，自动为每个生成的算法调整其内置超参数。整个流程迭代运行：每一代种群中的算法实例经过评测后，优劣排序作为 LLM 生成下一代的依据。

实验设置如下：

• 共执行 9 次完整的进化运行，每次运行生成约 100 个算法，总计约 900 个候选算法。
• 使用 BoFire 库中的 qParEGO 实现作为最先进的贝叶斯优化基线。
• 评测基准包括 12 个合成多目标问题（ZDT 系列、DTLZ 系列、WFG 系列）和 3 个未见过的真实工程问题（RE 系列）。
• 性能指标为归一化超体积（normalized hypervolume），同时记录实际运行时间。

在合成问题套件上，进化生成的最强算法取得了最高平均归一化超体积 0.971，显著高于 qParEGO 的 0.869，且所需的实际运行时间仅为后者的大约 1/60。统计分析（Friedman 检验与事后分析）将这两个算法划分为同一最优组，而在逐问题对比中，生成算法在 12 个问题中的 7 个上显著优于 qParEGO，其余问题无显著差异（从未更差）。这表明生成算法以数量级更低的计算成本达到了与最先进基线相当甚至更优的精度。

在三个未见过的真实工程问题上，进化生成的算法取得了最佳平均归一化超体积 0.985，高于 qParEGO 的 0.971，且在三个问题中的两个上显著更优；同时运行成本仅为 qParEGO 的约 1/3.4。这一结果确认了所发现算法在超出合成问题范围后的泛化能力。

关键要点

• 方法创新：将 LLM 作为进化策略的变异/交叉算子，结合 SMAC 超参数自动调优，实现 MOBO 算法代码的自动生成与自适应配置。
• 性能优势：在合成问题上，生成算法在平均归一化超体积（0.971 vs. 0.869）和运行时间（快约 60 倍）两方面均全面超越 BoFire qParEGO 基线。
• 统计显著性：Friedman 检验将生成算法与 qParEGO 归于同一最优组，且逐问题检验显示生成算法在 7/12 合成问题上显著更好，从未更差。
• 泛化能力：在三个完全未见过的真实工程问题上，生成算法同样取得更高的平均超体积（0.985 vs. 0.971）且计算成本低 3.4 倍，证明增益不仅限于合成测试。
• 搜索效率：仅通过 9 次进化运行（约 900 个算法评估）即发现显著优于手工设计的算法，展示了 LLM 驱动搜索在复杂算法设计空间中的潜力。

意义与影响

该工作为自动化算法设计提供了新的范式：不再依赖人类专家反复试错，而是借助 LLM 的代码生成能力与进化搜索的全局优化能力，在广阔的算法设计空间中自动发现 Pareto 高效的权衡方案。其核心意义在于：

1. 降低门槛：即使不具备深厚的 MOBO 专业背景，研究者也可通过该方法获得高性能定制化算法。
2. 突破人工局限：LLM 能探索人类直觉难以触及的设计组合，从而发现超越现有基线的算法结构。
3. 成本优势：生成算法在获得同等甚至更好性能的同时，计算开销降低一个数量级以上，这对实际应用（尤其高保真度仿真）至关重要。
4. 可扩展性：该方法框架可推广到其他优化子领域（如单目标、约束优化）甚至更广泛的元算法设计任务，为人工智能驱动的科学发现提供了可复用的技术路径。

未来工作可进一步探索多目标进化的种群管理策略、更大规模 LLM 的生成能力，以及将该方法应用于更复杂的高维、多模态现实问题。