← 返回信息流
技术博客arXiv cs.CL·3 小时前

G-SHARE:结构化推理新框架用于人为因素事件诊断

原标题:G-SHARE: A Guideline-Based Structured Reasoning Framework for Human-Factor Event Diagnosis

速览

G-SHARE是基于指南的结构化推理框架,将核电厂人为因素事件诊断指南转化为多阶段流水线,包括证据提取、逐步推理和一致性修复。在真实报告数据集上评估,G-SHARE显著优于单次提示和传统机器学习基线。消融实验表明结构化推理和一致性强制对鲁棒诊断至关重要。该工作为安全关键行业的人为因素分析提供了可审计的推理路径。

AI 深度解读

背景

人因事件诊断是从核电站运行事件中学习的关键环节,其质量高度依赖于专家对叙事性报告的解释以及基于指南的推理过程。然而,现有的数据驱动方法或一次性大语言模型(one-shot LLM)方法往往缺乏结构化推理,与正式诊断指南的契合度有限,且可能产生逻辑不一致的结论。为克服这些局限,该研究提出了一种基于指南的结构化推理框架 G-SHARE,将中国核能行业(CNNP)九步人因事件诊断指南转化为可操作的多阶段诊断流程。

核心内容

G-SHARE(Guideline-based Structured Reasoning Framework)的核心思想是将专家诊断指南显式地编码为可审计的推理工作流。该框架包含三个主要阶段:

  1. 证据抽取(Evidence Extraction):从原始事件报告中提取与诊断相关的关键证据,而非直接依赖整段文本的隐式理解。
  2. 分步诊断推理(Stepwise Diagnostic Reasoning):严格遵循 CNNP 九步指南的每一步骤,依次生成中间推理结果。每个步骤的输出作为下一步的输入,形成链条式推理,确保每一步都有明确的依据。
  3. 事后一致性修复(Post-hoc Consistency Repair):在推理完成后,对生成的诊断结论进行逻辑一致性检查,并自动修复矛盾或缺失的推理链,确保最终结论在逻辑上自洽且与指南对齐。

该框架使用大语言模型(LLM)作为基础推理引擎,但通过结构化提示和约束条件引导模型按照指南步骤逐步输出,而不是一次性给出结论。研究人员从中国核工业实际来源构建了一个真实的人因事件报告数据集,并请领域专家标注了一个黄金标准子集用于评估。

实验结果表明:

  • G-SHARE 整体显著优于一次性提示(one-shot prompting)和传统机器学习基线(如 SVM、随机森林等),最强版本取得了最佳的整体准确率和 macro-F1 值。
  • 消融实验进一步揭示,结构化推理和一致性强制机制(consistency enforcement)是实现稳健诊断的关键,尤其是在弱提示(weak prompting)条件下,G-SHARE 的优势更为明显。
  • 框架能从不同 LLM(包括 GPT-4、Llama 等)中受益,但结构化设计本身是性能提升的主要来源。

关键要点

  • 问题驱动:现有方法(数据驱动、一次性 LLM)在人因事件诊断中存在结构化缺失、指南对齐不足、逻辑不一致等缺陷。
  • 方法创新:G-SHARE 将 CNNP 九步指南显式转化为多阶段推理流程,包括证据抽取、分步推理和事后一致性修复。
  • 数据集:使用真实中国核工业人因事件报告构建数据集,专家标注黄金标准子集用于评估。
  • 性能提升:相比一次性提示和传统 ML,G-SHARE 显著提升准确率和 macro-F1;最强版本效果最优。
  • 关键组件:结构化推理和一致性强制是性能提升的核心,尤其在弱提示条件下更为必须。
  • 通用性:框架可适配不同 LLM 后端,但结构化设计本身是主要贡献。

意义与影响

G-SHARE 的价值在于它为安全关键领域(如核电、航空、医疗)的人因分析提供了一条可操作、可审计的智能化路径。通过将专家诊断指南转化为结构化推理工作流,该框架不仅提升了诊断的准确性和逻辑一致性,还使得推理过程透明、可追溯,便于监管审查和经验反馈。这对于核电站等需要严格遵循操作规程和指南的行业尤为重要——它使得大语言模型不再是“黑箱”,而是可验证、可解释的辅助工具。

此外,该研究展示了如何将领域知识(指南)与 LLM 能力深度融合,而不是简单地依赖模型自身的泛化能力。这种“指南驱动的结构化推理”范式可能扩展到其他需要结构化诊断的领域(如故障诊断、临床决策),为人机协同的智能分析提供通用模板。未来的工作可以探索将该框架部署到实际核电站运营系统中,并进一步优化多步推理的效率与可扩展性。

查看原文 →arxiv.org