自动进化任务专用提示优化指南

背景

大型语言模型（Large Language Models）要可靠地回答用户问题，用户必须清晰指定需求、上下文和约束条件。然而在实际使用中，用户的查询往往描述不充分（underspecified），导致模型不得不推断未明说的假设，这些假设可能与用户的真实意图不一致。现有的提示工程（prompt engineering）指南旨在缓解这一问题，但它们通常是通用且任务无关的，限制了实际效用。此外，现有指南都是手动制定且缺乏系统性。

针对这一现状，论文研究了“提示指南优化”（prompt guideline optimization）问题：即自动生成任务特定的指南，帮助用户为给定任务和模型编写描述更充分的提示。核心观察在于：已有的已完成任务示例（如参考答案）通常隐式编码了完成不充分查询所需的缺失信息，包括行为约束、上下文假设和评估标准。

核心内容

论文提出了一种名为 AGOPS（Automatic Guideline Optimization via Prompt Synthesis）的自动化方法。该方法通过一个优化方案来进化任务特定指南，该方案涉及三个角色：

1. 提示编写 LLM（prompt LLM writer）：负责根据当前指南生成候选提示。
2. 求解 LLM（solver LLM）：使用这些提示执行任务，产生输出。
3. 提示进化（prompt evolution）：根据下游效果（在一组已有用户查询和参考答案的示例上）评估指南，并迭代改进指南。

在推理时，这些指南帮助用户编写描述充分的提示，从而提升 LLM 的效果。

论文在三个任务上进行了实验：数学推理（mathematical reasoning）、医学问答（medical question answering）和编程任务（coding tasks）。结果发现：

• 提示描述不充分会导致下游任务性能大幅下降（相比描述充分的提示，降幅高达 95.3%）。
• 更重要的是，这种性能损失几乎无法被现有的提示优化技术（如自动提示工程）恢复。
• 而遵循 AGOPS 生成的指南的用户，可以在所有基准上一致地恢复这种损失，平均性能提升在 15.5% 到 81.7% 之间。

关键要点

• 问题根源：用户查询的描述不充分（underspecification）是 LLM 性能下降的主要因素之一，其影响远大于传统认知。
• 现有方案局限：通用型提示工程指南缺乏任务特异性，且手动制定耗时、不系统。
• 核心洞察：已有的任务完成示例（参考答案）中隐式包含了描述充分提示所需的缺失信息（如行为约束、上下文假设、评估准则）。
• AGOPS 方法：通过一个由提示编写 LLM、求解 LLM 和提示进化构成的优化循环，自动生成任务特定指南。
• 实验效果：描述不充分导致性能下降高达 95.3%；AGOPS 可恢复该损失，提升幅度 15.5%–81.7%，在数学、医学、编程三个领域一致有效。
• 与现有技术对比：AGOPS 显著优于已有的自动提示优化技术（如自动提示工程），后者几乎无法恢复由描述不充分引起的性能损失。
• 实用性：AGOPS 生成的指南可在推理时直接供用户参考，无需额外模型或计算开销。

意义与影响

该工作首次系统性地定义了“提示指南优化”问题，并提出了一个完全自动化的解决方案。其意义在于：

1. 从“通用指南”转向“任务特定指南”：打破了以往提示工程指南“一刀切”的局限，使得不同任务、不同模型都能获得定制化的提示编写建议。
2. 利用现有标注数据隐式知识：无需额外人工标注或专家知识，仅利用已有的任务示例（参考答案）即可自动提取必要约束，降低了部署成本。
3. 对 LLM 应用落地有直接价值：用户遵循自动生成的指南能显著提升下游性能，尤其对于非专业用户，可以大幅减少因提示措辞不当导致的失败。
4. 揭示了一个被低估的问题：论文以量化方式（最高 95.3% 性能下降）证明了提示描述不充分是 LLM 使用中的关键瓶颈，现有优化技术对此几乎无效，因此 AGOPS 填补了重要空白。
5. 方法的可扩展性：AGOPS 的优化框架不限于特定模型或任务，未来可扩展至更多领域，甚至可能用于自动生成除提示指南之外的其他形式的结构化规则。