AgentNAS：LLM驱动神经架构搜索实现11项SOTA

背景

神经架构搜索（Neural Architecture Search, NAS）旨在自动化设计高性能神经网络，近年来在效率上取得了显著进步。然而，现有方法存在一个根本局限：它们依赖人工设计的搜索空间——即由领域专家预先定义的架构模板和操作集合。这种手动工程不仅需要深厚的专业知识，而且每次面对新任务（如不同数据集或模态）都必须重新构建，严重制约了NAS的通用性与可迁移性。

与此同时，大型语言模型（Large Language Models, LLMs）展现出开放式的架构生成能力，能够在无预定义模板的条件下直接输出网络结构。但如何合理分配劳动力——即LLM驱动的创意设计与NAS驱动的搜索优化之间的分工——此前尚未被系统研究过。论文提出的Agentic Neural Architecture Search（AgentNAS）正是为了填补这一空白。

核心内容

论文提出了一种桥接上述两种范式的机制：首先，利用LLM生成一个高质量的种子架构；然后，将该种子架构分解为一个“带槽位架构”（slotted architecture）——一种带有命名、可互换模块槽位的脚手架结构。这个带槽位架构自动定义了一个有界且任务特定的搜索空间，供传统NAS方法进行探索，从而完全消除了对手动工程设计搜索空间的依赖。

该机制被具体实例化为AgentNAS——一个模块化的三阶段流水线，各阶段的贡献可以独立衡量：

1. 种子生成阶段：由一个LLM（实验中测试了三种不同能力水平的LLM）根据任务描述生成初始种子架构。
2. 槽位化分解阶段：将种子架构解析为带槽位架构，每个槽位对应一个可替换的模块（如卷积层、激活函数、池化操作等），并自动定义候选操作集（基于种子架构本身的上下文）。
3. NAS搜索阶段：在由前阶段定义的、有界的搜索空间中，运行传统NAS算法（如进化搜索或贝叶斯优化）来组合重排不同槽位的候选模块，寻找更优的组合。

论文在涵盖分类、密集回归、分割和多标签标注的17个任务上进行了全面评估，涉及多种模态（来自NAS-Bench-360和Unseen NAS基准）。结果如下：

• AgentNAS在11个任务上达到了新的最先进水平（State-of-the-Art, SOTA）。
• 相比已发表基线（包括针对特定任务的人工专家设计），取得了显著优势。

消融实验揭示了两点关键互补特性：

• LLM种子本身已在大多数任务上超越已发表基线。
• NAS搜索则在大多数情况下通过跨槽位的组合重组（combinatorial recombination）带来了额外增益——这种搜索方式是独立的LLM采样无法复制的。

此外，这一分工模式在三种不同能力水平的LLM（从强到弱）上均表现稳健，证实了其鲁棒性。

关键要点

• 问题：传统NAS依赖手动构造的搜索空间，无法自动适应新任务；LLM虽能开放式生成，但缺乏系统性优化。
• 创新方案：提出“LLM生成种子 → 分解为带槽位架构 → NAS搜索优化”的三阶段分工流水线（AgentNAS），将LLM的创造性设计与NAS的精细化搜索有机结合。
• 核心技术：“带槽位架构”概念：一个带有命名、可互换模块槽位的脚手架，自动定义有界、任务特定的搜索空间，无需任何手工干预。
• 实验结果：在17个任务（分类、回归、分割、多标签）上，11个任务达到SOTA，超越包括专家手工设计在内的多个基线。
• 消融发现：LLM种子有强竞争力（多数任务已超基线），NAS搜索通过槽位组合重组提供额外收益，且与LLM采样互补；该分工在弱LLM上依然有效。
• 开源性：代码已开源（见论文链接）。

意义与影响

AgentNAS以一种优雅的“分工”方式解决了NAS长期以来的手动搜索空间瓶颈。其意义主要体现在：

• 自动化程度提升：将领域专家的角色部分替换为LLM，从而让NAS能够零人工代价地迁移到新任务和新模态，极大降低了应用门槛。
• 组合创新：证明了LLM生成的架构并非终点，而是可进一步组合优化的起点——带槽位架构使NAS能够进行模块级别的“基因重组”，发现LLM单次采样无法探索的优质组合。
• 鲁棒且通用：对LLM能力不敏感，意味着即使使用较弱的LLM也能获得良好效果，增强了方法的实用性和普适性。
• 研究范式启发：为LLM与NAS的协同提供了新的范式，未来可扩展至更复杂的搜索任务（如优化训练超参数、自动化数据增强等），也为“大模型协助传统算法”方向提供了成功案例。

该工作发表于arXiv（2026年7月），标志着NAS从“人工设计搜索空间”向“LLM辅助自动搜索空间生成”的重要转变，有望推动自动机器学习（AutoML）在更广泛场景下的落地。