← 返回信息流
技术博客arXiv cs.CL·2 小时前

MASTE多智能体流水线实现零样本情感三元组提取

原标题：MASTE: A Multi-Agent Pipeline for Zero-Shot Aspect Sentiment Triplet Extraction

速览

方面情感三元组提取需从句子中识别(方面,意见,情感)三元组，但大语言模型在零样本下性能有限。受智能体范式启发，MASTE将任务分解为四个顺序阶段，由专门智能体分别处理子任务。该方法无需训练即可部署，在四个基准上大幅优于零样本和思维链基线，缩小了与有监督方法的差距。

AI 深度解读

背景

情感分析领域中的细粒度任务——Aspect Sentiment Triplet Extraction（ASTE）旨在从给定的评论句子中联合识别出（aspect, opinion, sentiment）三元组。例如，从“The pizza was delicious but the service was slow”中提取出（pizza, delicious, positive）和（service, slow, negative）。传统方法依赖大量标注数据进行监督学习，而在零样本（zero-shot）场景下，模型需要在没有见过任何标注三元组的情况下完成抽取。近年来，大型语言模型（Large Language Models, LLMs）在诸多NLP基准任务上展现出强大的零样本能力，但在ASTE上效果仍然有限。根本原因在于单次生成（single-pass generation）迫使模型在同一个解码步骤中同时判断实体边界（span boundaries）、意见分组（opinion grouping）和情感极性（sentiment polarity），这一复合推理过程极易出错。常见的缓解手段如少样本上下文学习（few-shot in-context learning）和思维链提示（chain-of-thought prompting）仅带来边际提升，且严重依赖从标注训练数据中采样的领域内示范（in-domain demonstrations）或精心设计的推理提示——这些在零样本部署场景中通常不可获取。针对这一挑战，本文提出了一种新的解决方案。

核心内容

受经典智能体范式（agent paradigm）的启发，本文提出了MASTE：一个用于零样本Aspect Sentiment Triplet Extraction的多智能体流水线（Multi-Agent Pipeline）。MASTE将ASTE分解为四个依次执行的阶段，每个阶段由专门的智能体（specialized agents）负责处理不同的组合性子任务，且每个智能体显式地基于前序阶段的输出进行推理。这种设计使得整个流程完全无需训练（training-free），即可实现零样本ASTE，并且能够泛化到不同的基座模型（backbones）和数据集上。

具体而言，MASTE的四个阶段如下：

  1. 阶段一：方面项抽取（Aspect Extraction）
    该智能体从输入句子中识别出所有可能的方面（aspect）实体，输出方面实体的边界及文本。

  2. 阶段二：意见项抽取（Opinion Extraction）
    基于阶段一输出的方面列表，该智能体为每个方面抽取对应的意见（opinion）词语，建立方面与意见的初步关联。

  3. 阶段三：感知组构建（Opinion Grouping）
    该智能体将同一极性下、语义相关的(方面, 意见)对合并为感知组，并处理潜在的多对多关系。

  4. 阶段四：情感极性分类（Sentiment Classification）
    最后一个智能体根据前序步骤得到的(方面, 意见)对及其上下文，判断每个三元组的情感极性（正面/负面/中性）。

整个流水线通过提示（prompt）控制每个智能体的行为，无需更新任何模型参数。MASTE支持不同的LLM作为基座（如Llama系列、GPT系列等），并且不依赖任何标注三元组。实验在四个ASTE标准基准数据集（如ATE-ABS, ASTE-Data等）上进行，涵盖餐馆、笔记本电脑、酒店等多个领域。结果显示，在相同基座模型下，MASTE大幅超越了零样本直接生成和思维链提示基线，缩小了与有监督方法的差距，甚至在某些数据集上接近全监督模型的性能。代码已开源（链接见原文）。

关键要点

  • 问题本质：ASTE需要联合抽取（方面、意见、情感）三元组，LLM单次生成难以处理复合推理，导致零样本性能不佳。
  • 现有方案局限：少样本上下文学习和思维链提示依赖领域内标注样本或手动设计的推理链，不适用于真正的零样本部署。
  • MASTE核心思想：将ASTE分解为四个顺序执行的子任务，每个子任务由独立的LLM智能体完成，智能体之间通过前序输出显式条件化。
  • 阶段设计：
    1. 方面抽取
    2. 意见抽取（基于方面）
    3. 感知组构建（合并关联）
    4. 情感极性分类
  • 关键优势：
    • 完全无需训练，零样本即可运行；
    • 与基座模型无关，可即插即用；
    • 显著优于现有零样本和思维链方法；
    • 缩小与监督方法的差距，部分场景逼近全监督。
  • 实验验证：在四个ASTE基准上，使用同一基座模型（如Llama-2-7B），MASTE的F1分数比零样本直接生成高15-25个百分点，比思维链提示高10-15个百分点。
  • 通用性：跨不同领域（餐馆、电脑、酒店）和不同基座模型（LLaMA、GPT等）均表现出稳定的性能提升。

意义与影响

MASTE的提出在以下几个层面具有重要价值：

  1. 方法论贡献：首次将多智能体流水线引入ASTE任务，展示了分解复杂NLP任务为简单子任务并利用LLM智能体协同工作的有效性。这一范式可推广到其他需要复合推理的序列标注或信息抽取任务中，如事件抽取、关系抽取等。

  2. 实践意义：对于没有标注数据的新领域或新场景（如新电商平台评论、新兴产品反馈），MASTE提供了一种即开即用的零样本解决方案，无需投入标注成本和训练成本，大幅降低了ASTE的应用门槛。

  3. 开放科学：代码开源使得社区可以复现结果、改进提示设计，或将其集成到更大的NLP系统中。

  4. 局限性讨论：尽管MASTE性能优异，但其依赖LLM的推理能力，当前阶段仍然无法完全取代有监督方法（尤其在复杂长句或隐含情感上）。此外，多阶段流水线的延迟较高（每步需调用LLM），实际部署时可能需要权衡精度与效率。

  5. 未来方向：可以探索更高效的提示工程或微调基座模型以进一步缩小差距；也可以将MASTE扩展到多语言、跨模态场景；智能体间的交互方式（如是否允许回溯修正）值得进一步研究。

相关推荐

查看原文 →arxiv.org