LLM生成技能未提升数据科学工作流性能

背景

在数据科学实践中，产品数据科学家经常借助基于 LLM 的智能体完成重复性执行任务，例如数据清洗、编写 SQL、选择统计检验以及格式化结果。为了减少每次从头开始提示的开销，可复用的技能文件（skill files）被设计用来封装针对某一任务系列（task family）的指导。由专家编写的技能文件可以编码高质量指导，但跨多个数据科学任务系列编写和维护这些技能文件会形成人工瓶颈。因此，研究者探索是否能够利用 LLM 自动生成的技能（LLM-generated skills）作为低人工干预的替代方案：它们是否比单独使用任务提示（task prompt）带来更好的性能？本文通过组件消融实验（component ablation）系统性地检验了这一问题。

核心内容

该研究覆盖了数据科学工作流的四个生命周期阶段：数据准备（data preparation）、数据抽取（data extraction）、统计分析（statistical analysis）和报告（reporting）。每个阶段使用一个 LLM 生成的技能文件（由 LLM 根据任务描述自动生成）。实验首先比较了完整生成技能（Full generated skills）与无技能提示（No-Skill prompting）的性能差异，发现没有可靠的改进。随后，研究者通过消融不同的技能组件（如任务描述、示例、规则等）来探究技能的哪一部分可能有用。

主要消融实验覆盖了 56 个任务、9 个模型配置和 3 个模型提供商，共产生 7,560 次运行（runs）。结果表明，与仅使用任务提示相比，完整的生成技能以及任何消融后的技能变体均未显著提升性能；所有 p 值至少为 0.396，各变体之间的总差距仅为 1.2 个百分点（pp）。此外，补充的 token 匹配对照实验（token-matched control）增加了 1,512 次运行，发现完整技能的表现与格式相同但内容无关的技能（task-irrelevant skill-formatted content）相似。

因此，研究结果警告：在每个数据科学工作流中使用一个 LLM 生成的技能作为默认的单一提示策略（single-shot prompting strategy）并不有效。

关键要点

• 实验设计：覆盖 4 个数据科学生命周期阶段，每个阶段仅使用 1 个 LLM 生成的技能文件，未进行多技能组合或迭代优化。
• 主要结论：LLM 生成的完整技能相比无技能提示没有带来可靠性能提升，且所有消融变体均无显著差异。
• 统计显著性：所有 p 值 ≥ 0.396，远高于常规显著性阈值（如 0.05），表明结果高度不显著。
• 效果幅度：各技能变体之间的性能差异仅为 1.2 个百分点，实际效果极小。
• 对照实验：将技能内容替换为任务无关但格式相同的内容后，性能与完整技能相当，说明技能本身的内容并未提供额外价值。
• 局限性：仅评估了单次提示（single-shot）场景，未考虑多轮交互或技能微调；生成的技能质量可能受限于底层 LLM 的能力。

意义与影响

• 对数据科学自动化的警示：许多团队期望通过 LLM 自动生成技能文件来降低人工编写成本，但本研究结果表明，直接使用单次生成的技能并不能带来性能收益，甚至可能不如直接使用任务提示。这提示从业者需要谨慎评估自动生成技能的实际效用，而非盲目采用。
• 推动更精细的组件分析：消融实验的设计方法为未来研究提供了范式——不能仅比较“有技能 vs 无技能”，而应分析技能中哪些具体组件（如示例、规则、任务描述）真正起作用。本研究发现所有组件均无显著贡献，说明当前 LLM 生成的技能可能缺乏真正的结构化知识。
• 对“技能库”策略的挑战：构建可复用的技能库（skill library）是许多 AI 数据科学产品的核心思路。本研究指出，在单次提示设定下，LLM 生成的技能并不优于直接提示，这可能意味着技能的价值在于多次使用中的积累和迭代优化，而非一次性生成。
• 方法论贡献：通过大规模系统比较（7,560 + 1,512 次运行），提供了高统计功效的证据，对学术界和工业界关于 LLM 智能体技能生成的研究具有参考价值。