从SEC 8-K文件提取119类事件的新方法

背景

美国证券交易委员会（SEC）的 Form 8-K 是上市公司披露重大事件的法定渠道。然而，SEC 为每份文件分配的 item code 非常粗粒度：同一个 item code 可能同时涵盖常规行政变更和首席执行官离职，而许多对市场影响最大的披露则被归入一个“其他”类目。这种粗粒度分类使得投资者难以快速识别具体事件类型，也限制了大规模量化分析的可能性。大型语言模型（LLM）的出现使得在语料库规模上进行细粒度标注成为可能，但前提是标注结果能够追溯到原文，并且被证明是可靠的。本文正是针对这一需求，提出了一套两阶段系统，用于从 8-K 文件中提取基于证据的事件标签。

核心内容

本文提出一个两阶段系统，用于对 8-K 披露文件进行标注，标注体系是一个包含 119 种事件类型的三层分类法（three-tier taxonomy）。第一阶段，系统将输出限制为有效的分类条目，并通过模糊 n-gram 验证（fuzzy n-gram validation）将每个标签锚定到一段逐字引用（verbatim quote）上。第二阶段，系统根据类别定义对每个被引用的 quote 进行重新评分（re-grade），生成一个质量分数（quality score）。

将该系统应用于 2022 年至 2026 年间的 292,984 份 8-K 文件，共得到 601,088 个有据可依的事件标签（grounded event tags），作者将这些标签公开。在 5,125 个分层采样标签（stratified tags）上，一个 LLM 评判器（LLM judge）发现，准确率（precision）随质量分数单调上升，从 12% 提升至 96%，而无证据支持的标签（unsupported tags）则从 8% 下降至接近零。消融实验（ablation）表明，只有当评分在专门的第二阶段进行时，分数才是校准的（calibrated）。

最后，作者对未签署异常收益（unsigned abnormal returns）进行了事件研究（event study），确认即使不使用任何语言模型，该分类法也能将共享同一个 item code 但经济意义不同的事件区分开来。

关键要点

• 粗粒度问题：SEC 8-K 的 item code 过于笼统，无法区分常规变更与重大事件，且许多市场敏感披露被归入“其他”类别。
• 两阶段系统：第一阶段通过模糊 n-gram 验证实现标签到原文的锚定；第二阶段对每个引用进行质量评分，确保可靠性。
• 细粒度分类法：包含 119 种事件类型的三层分类法，覆盖了从高管离职到并购等广泛披露。
• 大规模标注：对 2022–2026 年近 30 万份文件进行标注，产出超 60 万个有据可依的事件标签，并公开数据集。
• 质量校准：LLM 评判显示，质量分数越高准确率越高（12%→96%），无证据标签比例降至接近零；消融实验证实分数仅在第二阶段评分时有效。
• 经济意义验证：事件研究证明，即使没有语言模型，该分类法也能有效分离同一 item code 下不同经济含义的事件，支持后续量化分析。

意义与影响

• 方法论贡献：本文展示了如何将 LLM 的能力与严格的引用验证相结合，生成可审计、可追溯的细粒度标签，解决了大模型在金融领域落地时“黑箱”和“幻觉”的痛点。
• 数据资源价值：公开的 601,088 个有据可依的事件标签为金融、会计、法律等领域的量化研究提供了高质量、大规模的训练与验证数据。
• 监管与市场透明度：通过将粗粒度的 SEC 分类映射到 119 种细粒度事件，投资者和监管机构可以更精准地识别披露类型，从而提升市场信息效率。
• 可扩展性：该两阶段框架不仅适用于 8-K 文件，也可推广到其他需要基于证据的文本分类任务，尤其是高可靠性要求的监管或合规场景。
• 跨领域应用潜力：分类法的设计思路和验证方法可被借鉴到其他结构化文档（如年报、新闻稿、法律文书）的事件抽取任务中。