FixItFlow: Automated Troubleshooting Guide Generation from Cloud Incidents

背景

云计算服务在日常运维中频繁发生各类事件（incidents），需要工程师快速诊断并解决问题。标准化的排障指南（troubleshooting guides）能够帮助工程师以一致的方式响应事件，降低人为失误。然而，传统上这些指南依赖手工编写，不仅耗时费力，还导致覆盖率不足、文档更新滞后。随着云基础设施规模增长，事件数量激增，手动维护排障文档的成本越来越高，急需自动化方案来提升效率。

核心内容

FixItFlow 是一个基于大语言模型（LLM）的自动化系统，旨在从历史事件数据中自动生成排障指南。系统的工作流程分为三个核心阶段：

1. 诊断模式提取：FixItFlow 分析工程师在历史事件中执行的操作（actions），从中提取出具有共性的诊断模式。这些模式反映了针对特定故障类型的典型排查步骤。

2. 结构化指南合成：基于提取的模式，系统利用大语言模型生成结构化的排障指南。指南中包含经过验证的命令（verified commands），确保步骤的实用性和准确性。

3. 严格验证防止虚构：为了防止大语言模型常见的“幻觉”问题（即生成虚假或不可执行的内容），FixItFlow 内置了严格的验证机制。它对生成的每个步骤和命令进行校验，只保留能够通过验证的内容，从而保证输出结果的可靠性。

为了评估系统效果，研究团队组织了一场涉及 26 名工程师的评估实验。实验中，工程师们使用 FixItFlow 生成的排障指南处理实际云事件。结果显示：

• 生成指南的清晰度获得了 61.5% 的正面评价（positive ratings）。
• 对于关联了生成指南的事件，平均缓解时间（mitigation time）降低了 2.3 倍。

关键要点

• 自动化生成排障指南：FixItFlow 从历史事件数据中自动学习并生成标准化的排障步骤，替代人工编写。
• 诊断模式提取：系统通过分析工程师的历史操作来识别模式，而非依赖预先定义的规则。
• 验证机制防幻觉：通过严格校验确保生成的命令可执行、内容真实，避免 LLM 常见的虚假输出。
• 显著提升效率：在有生成指南的事件中，缓解时间缩短至原来的约 0.43 倍（即 2.3 倍减少），有效加速事件响应。
• 可接受的清晰度：61.5% 的工程师对生成指南的清晰度持正面态度，表明自动化内容在可理解性上已达到实用水平。
• 降低文档维护负担：自动化过程减少了工程师手动编写和更新排障指南的投入，使团队能专注于更高价值的任务。

意义与影响

FixItFlow 展示了 LLM 在运维自动化领域的实际应用价值。其意义主要体现在：

• 提升运维效率：通过实时生成排障指南，缩短事件处理时间，降低服务中断对用户的影响。
• 解决文档维护痛点：云服务商的排障文档通常滞后于实际故障演变，自动化生成能确保指南与最新模式同步，减少知识断层。
• 增强答案可靠性：引入验证环节是对 LLM 在关键任务场景中“可信度”问题的一种务实回应，验证方法可为其他自动化知识生成系统提供借鉴。
• 可扩展性：该方法可推广至不同云平台和故障类型，只要具备足够的历史事件数据，系统就能自动学习并产出指南。
• 局限性：当前评估仅基于 26 名工程师，样本量有限；61.5% 的清晰度仍有提升空间；系统依赖高质量的历史数据，数据稀疏或模式复杂时可能效果下降。未来工作可探索与可观测性数据、根因分析系统的更深层次集成。