法律判决问题级结构化提取与引用幻觉控制

背景

法律判决书的结构化提取是法律信息检索、推理分析和知识图谱构建的基础环节。传统方法依赖人工标注，成本高、规模小，难以覆盖数十万量级的司法文书。近年来，大语言模型（LLM）在文本理解与生成方面表现出色，但面对法律文本中存在的大量法律条文引用（citations）时，模型容易产生“幻觉”——即生成虚假或错误的引用，这严重阻碍了其在实际司法场景中的可靠应用。意大利税务法院（tax courts）的判决涉及大量法律问题（issues）的拆分与推理，现有研究缺乏一个既能高效提取结构化法律推理信息、又能有效控制引用幻觉的自动化流水线。本文正是在此背景下提出一套面向意大利税务判决的、经过专家验证的精细粒度结构化提取方案。

核心内容

本文介绍了一套自动化流水线，可将意大利税务法院判决分解为单个法律问题（issues），并为每个问题提取出基于 IRAC 框架和法律三段论的结构化 XML 表示。流水线针对约 33 万份意大利税务法院一审和二审判决组成的语料库构建，核心使用了能力较强且成本高效的通才模型 DeepSeek V3——选择该模型是出于以可持续成本处理数十万文档的考虑。

为了应对大语言模型在法律引用方面众所周知的不可靠性，提取步骤后耦合了一个自动幻觉检测过滤器。该过滤器将模型生成的引用与判决文本中由专用解析器 Linkoln 识别出的引用进行比对，并将两者归一化为标准标识符（URN-NIR、ECLI、CELEX），从而发现不一致的幻觉引用。

研究者对 50 份由两位税法博士标注的判决进行了验证，计算了标注者间一致性（inter-annotator agreement）以及 LLM 与专家在问题提取和法律引用两方面的一致性，同时对幻觉检测过滤器进行了独立评估。据作者所知，这是首个针对意大利税务法院判决的、经过专家验证的、带有幻觉控制的精粒度（issue-level）结构化提取流水线，为下游应用——如问题级检索、引用网络分析和大规模法律推理数据集构建——提供了具体起点。

关键要点

• 任务粒度：流水线不以整篇判决为单位，而是将判决拆解为独立的“法律问题”（issues），并针对每个问题提取结构化信息，实现比传统判决级更精细的提取。
• 框架基础：每个问题的结构化表示基于 IRAC（Issue - Rule - Application - Conclusion）框架和法律三段论，以标准 XML 格式输出，便于机器处理。
• 模型选择：采用 DeepSeek V3 作为主力模型，在能力与成本之间取得平衡，使大规模处理（33 万份文档）在经济上可行。
• 幻觉控制：创新性地引入 Linkoln 解析器作为外部引用提取基准，通过将模型生成的引用与解析器结果比对（均归一化为 URN-NIR、ECLI、CELEX 等标准标识符），自动检测并过滤幻觉引用。
• 验证方式：使用 50 份由两位税法博士专家手工标注的判决进行双维度验证——一方面评估模型与专家在问题提取和引用识别上的一致性，另一方面独立评测幻觉检测过滤器的性能。
• 资源开销：论文未公开完整的流水线代码或数据集，但提供了验证方法和评估指标，为后续研究提供了可复现的基准。

意义与影响

• 填补空白：这是首个针对意大利税务法院判决、且经过专家验证的、带有幻觉控制的精粒度结构化提取研究。将 IRAC 框架应用于实际司法文书的自动抽取，在法律 NLP 领域具有方法上的示范意义。
• 工程实用：通过选用 DeepSeek V3 这类成本可控的模型，并结合外部引用解析器 Linkoln 实现幻觉过滤，该流水线证明了在数十万文档规模上部署可靠法律文本分析工具的可行性，降低了大规模司法知识工程的经济门槛。
• 下游赋能：提取出的问题级结构化数据可直接用于问题级检索（issue-level retrieval）、判决引用网络分析（citation-network analysis）以及构建大规模法律推理训练数据集，从而推动基于案例推理的法律 AI 应用。
• 可迁移参考：虽然以意大利税务法院为场景，但所提出的“LLM + 外部引用解析器 + 归一化比对”的幻觉控制思路具有通用性，可被移植到其他法域、其他语种的法律文书处理中。同时，论文采用的专家标注验证范式也为法律 NLP 领域提供了可信的评估基准。