← 返回信息流
技术博客arXiv cs.AI·2 小时前

SAGE框架:基于LLM自反思智能体的欺诈检测新范式

原标题:SAGE: An LLM-driven Self Reflective Agentic Framework for Fraud Detection

速览

SAGE是首个端到端的LLM驱动多智能体欺诈检测框架,旨在解决现有方法在语义感知、可解释性及召回率精度上的不足。该框架协调三个专用智能体,基于六层数据诊断树和马尔可夫决策过程,利用自然语言梯度自动优化模型。在五个欺诈数据集和五个LLM骨干模型上的实验表明,SAGE在绝大多数对比中胜出,平均F1值提升40.86%。

AI 深度解读

SAGE:基于大语言模型的自反思智能体欺诈检测框架深度解读

背景

在支付、电子商务和电信系统中,欺诈检测是一项至关重要但极具挑战性的任务。该领域对模型提出了三项核心要求:

  1. 个体级别的准确性:必须能够精准识别每一个具体的欺诈行为,而非仅关注整体统计指标。
  2. 在严重类别不平衡下的鲁棒性:欺诈样本通常极少,模型必须在正负样本极度不均的数据集中保持稳健表现。
  3. 对风险管理者的可解释性:决策过程必须易于理解,以便人工审核和风险控制。

然而,现有的主流方法往往难以同时满足上述所有要求:

  • 自动化机器学习(AutoML)系统:通常在一个固定的数值空间内进行搜索,缺乏对数据集语义层面的感知能力,导致在复杂语义场景下表现受限。
  • 基于图神经网络(GNN)的方法:依赖于预先定义的关联图结构,且其决策过程在个体决策层面往往是不透明的(即“黑盒”),难以满足可解释性需求。
  • 通用大语言模型(LLM)智能体:虽然具备强大的语义理解能力,但其通用设计并未考虑现实世界欺诈检测中特有的召回率(Recall)和精确率(Precision)约束,直接应用往往效果不佳。

鉴于此,研究人员提出了一种全新的解决方案,旨在填补这一技术空白。

核心内容

本文提出了 SAGE(Self-reflective Agentic Framework for Fraud Detection),这是首个端到端的、由大语言模型驱动的欺诈检测多智能体框架。SAGE 的核心创新在于通过协调三个专用智能体,结合自然语言梯度引导的马尔可夫决策过程,实现了模型性能的自动优化。

1. 架构设计:三智能体协同

SAGE 并非单一模型,而是一个多智能体系统。它协调三个专用的智能体进行协作,每个智能体在欺诈检测流程中承担特定角色。这种分工使得系统能够处理欺诈检测中复杂的逻辑判断和数据诊断任务。

2. 核心机制:数据诊断树(DDT)

SAGE 的决策基础是一个六层 数据诊断树(Data Diagnostic Tree, DDT)。该树状结构为智能体提供了一套结构化的决策路径,帮助其系统地分析数据特征、识别异常模式,并逐步缩小欺诈嫌疑的范围。DDT 的设计使得复杂的欺诈检测逻辑变得结构化且可追踪。

3. 优化策略:自然语言梯度与马尔可夫决策

与传统基于数值梯度的优化不同,SAGE 引入了 自然语言梯度(Natural-language Gradients) 来指导 马尔可夫决策过程(Markov Decision Process, MDP)

  • 自然语言梯度:允许系统通过自然语言反馈来调整策略,这使得模型优化过程更加直观,且能与风险管理者的业务逻辑对齐。
  • 欺诈特定奖励函数:系统在优化过程中使用针对欺诈检测定制的奖励函数,专门平衡召回率和精确率,确保模型在严重类别不平衡的数据集中仍能保持高性能。

4. 实验结果

在五个欺诈数据集和五个不同的大语言模型骨干网络(LLM Backbones)上进行了广泛评估。结果显示:

  • SAGE 在 96.00% 的方法-数据集对比中胜出。
  • 与基线方法相比,SAGE 的平均 F1 分数提升了 40.86%

这一结果表明,SAGE 不仅在统计指标上显著优于现有方法,且在多种模型架构和数据场景下均具有极强的泛化能力和鲁棒性。

关键要点

  • 首创性:SAGE 是首个端到端的、由 LLM 驱动的欺诈检测多智能体框架,解决了现有方法在语义感知、可解释性和特定约束适应上的不足。
  • 结构化决策:通过六层数据诊断树(DDT),将非结构化的欺诈检测问题转化为结构化的决策路径,提升了模型的可解释性和逻辑严密性。
  • 语义驱动优化:利用自然语言梯度指导马尔可夫决策过程,实现了基于业务语义的模型自动优化,而非仅依赖数值计算。
  • 性能显著超越:在多个基准数据集和 LLM 骨干网络上,SAGE 在 96% 的对比中获胜,F1 分数平均提升超过 40%,证明了其在处理类别不平衡数据方面的卓越能力。
  • 端到端自动化:从数据诊断到模型优化,SAGE 实现了全流程自动化,减少了人工干预需求,同时保持了高风险场景下所需的精确控制。

意义与影响

SAGE 的提出标志着欺诈检测领域从“数值驱动”向“语义与智能体驱动”的重要转变。其意义主要体现在以下几个方面:

  1. 突破黑盒限制:通过引入自然语言梯度和结构化诊断树,SAGE 提供了比传统 GNN 和 AutoML 更透明的决策过程,有助于风险管理者理解和信任 AI 的决策,从而加速 AI 在金融风控领域的落地。
  2. 解决类别不平衡难题:欺诈检测的核心痛点在于正样本极少。SAGE 通过专门的奖励函数和多智能体协作,显著提升了在极端不平衡数据下的召回率和精确率,为实际业务提供了更可靠的工具。
  3. 通用性与适应性:SAGE 不依赖于预定义的图结构,而是通过 LLM 的语义理解能力动态适应不同数据集。这种灵活性使其能够应用于支付、电商、电信等多种场景,无需为每种场景重新设计复杂的图结构。
  4. 推动 Agentic AI 在垂直领域的应用:SAGE 展示了多智能体框架在解决复杂、约束严格的垂直领域问题(如金融欺诈)中的巨大潜力。它为其他需要高精度、高可解释性和强鲁棒性的 AI 应用(如医疗诊断、法律合规)提供了新的范式参考。

随着 SAGE 代码的开源,学术界和工业界有望进一步探索 LLM 智能体在风控及其他关键决策领域的应用,推动 AI 系统向更智能、更可信的方向发展。

查看原文 →arxiv.org