Why Solve It Twice? Hierarchical Accumulation of Skills for Transfer-Efficient ML Engineering

背景

在人工智能与机器学习（ML）领域，AI Agent 在自动化解决复杂工程问题（如 Kaggle 竞赛）上展现了巨大潜力。然而，当前的 ML 工程智能体普遍面临一个核心痛点：冷启动问题。每当面对一个新的竞赛或任务时，智能体都必须从零开始探索解决方案，无法有效复用过往经验中已经掌握的通用技术或领域知识。这种“重复造轮子”的行为不仅导致大量算力被浪费在重新发现已知技术上，也限制了智能体在有限计算预算下解决更复杂问题的能力。如何通过有效的知识组织与管理，实现跨竞赛、跨任务的高效技能迁移，成为提升 ML 工程智能体效率的关键。

核心内容

为了解决上述问题，论文提出了 HASTE（Hierarchical Accumulation of Skills for Transfer-Efficient ML Engineering），一个层级化的多智能体系统。HASTE 的核心思想是将跨竞赛的知识进行结构化组织，从而替代单纯的模型强度或算力堆砌。

层级化知识组织

HASTE 将知识划分为三个范围层级，每个层级对应一个匹配的智能体级别：

1. 全局级（Global）：跨所有领域通用的底层技能。
2. 领域级（Domain）：特定数据领域（如计算机视觉、自然语言处理）的通用技术。
3. 竞赛特定级（Competition-specific）：针对特定竞赛的专属策略。

系统通过一个**编排器（Orchestrator）**来协调各领域专家，并利用 LLM 驱动的抽象机制，在不同层级之间促进学习的向上泛化与向下迁移。

受控消融实验：层级化加载的威力

为了验证层级化知识组织的有效性，研究者进行了一组受控消融实验。在保持 159 个技能库不变的条件下，横跨 8 个竞赛对比了不同加载策略：

• 分层加载（Tiered loading）：达到了 100% 的奖牌率。
• 扁平加载（Flat loading）：奖牌率仅为 62.5%，这与完全不加载任何技能的奖牌率相同。更糟糕的是，扁平加载消耗的输出 token 是分层加载的 2 倍。

这一结果证明，如果缺乏有效的层级化组织，盲目地向智能体灌输大量技能反而会干扰其判断，造成算力浪费；而