← 返回信息流
技术博客arXiv cs.CL·3 小时前

FinResearchBench II：共识黄金评分标准自动评估财务报告质量

原标题：FinResearchBench II: A Deep Research Benchmark with Consensus-Derived Gold Rubrics for Distinguishing Financial Report Quality

速览

FinResearchBench II 是一个金融深度研究基准，基于104个真实查询自动合成14450个候选评分标准。通过三LLM评审与人类专家对比，实现98.67%标签级一致性，并采用严格一致性过滤与可区分性过滤，保留2600个共识黄金评分标准。该流水线去除了人类专家执行环节，可自然扩展用于大规模基准评估与系统比较。

AI 深度解读

背景

随着深度学习研究代理（deep research agents）在金融领域的广泛应用，它们被越来越多地用来生成长篇金融报告。然而，对这些报告质量的大规模评估始终面临一个瓶颈：需要人类专家来定义和执行高质量的评分准则（rubrics）。传统评估方法依赖人工审核，成本高昂、耗时漫长，且难以扩展。为了解决这一问题，研究者们探索如何构建可自动生成和验证评分准则的评估基准，从而在不依赖人类专家最终执行的情况下，实现大规模、系统化的模型评估。

核心内容

本文提出了 FinResearchBench II，一个用于区分金融报告质量的深度研究基准，其核心创新在于通过共识驱动的自动化流程生成“黄金评分准则”（consensus-derived gold rubrics）。具体流程如下：

  1. 数据构建：从 104 个真实世界用户查询出发，自动合成了 14,450 条查询特定的候选评分准则（candidate rubrics）。这些候选准则从模型生成的报告中抽取，无需人类专家在最终环节参与。

  2. 人类 vs LLM 评估一致性验证：为了证明可以移除人类专家对评分准则的执行步骤，作者在抽样子集上比较了三位人类专家与由三个 LLM 组成的评审小组（three-LLM judge panel）对同一组评分准则的判断结果。结果显示，基于 LLM 的评估与人类评估高度一致，足以在规模化筛选中替代人工——在全部评审一致的子集上，标签级别的准确率达到 98.67%。

  3. 共识驱动的黄金评分准则筛选：通过两道过滤器从候选准则中提取高质量准则：

    • 严格一致性过滤器：只保留那些在同一个查询下，三个 LLM 评审对所有报告都给出完全一致评分的准则。
    • 可区分性过滤器：只保留那些在所有被评估系统中，至少有一个系统获得“多数赞同”标签、同时至少有一个系统获得“多数反对”标签的准则（即能区分不同系统表现的准则）。

    经过这两步过滤，从 14,450 条候选准则中保留了 3,687 条通过一致性检验的准则，其中 2,600 条进一步通过可区分性检验，最终形成黄金评分准则集。

  4. 基准评估结果：使用这 2,600 条黄金评分准则，对 10 个深度研究系统进行了评测，得到了清晰的排名。系统在每条准则上的通过率（item-level pass rate）从最高 58.58% 到最低 22.23% 不等，充分证明了该基准的有效区分能力。

  5. 可扩展性：由于整个流水线在评分准则生成与评估环节均无需人类专家执行，该方法天然具备可扩展性，适用于基准评测、自动化系统比较以及未来基于评估驱动的系统改进研究。

关键要点

  • 自动生成评分准则：从 104 个真实用户查询出发，利用模型生成的报告自动合成 14,450 条查询特定的候选评分准则，彻底绕开了人工编写准则的高成本。
  • LLM 评估替代人类专家：通过对比实验证明，三个 LLM 组成的评审小组在评分准则执行上与人类专家高度一致（联合一致项标签准确率 98.67%），可大规模替代人工。
  • 两道筛选过滤器：严格一致性过滤器确保每条准则在同一查询下跨报告的一致性；可区分性过滤器确保准则能有效区分不同系统表现，避免无区分力的准则。
  • 最终黄金准则集：从 14,450 条候选准则中提取出 2,600 条高质量、可区分性强的黄金评分准则，用于系统评估。
  • 10 系统清晰排名：使用上述准则集对 10 个深度研究系统进行评测，通过率差异显著（58.58%–22.23%），验证了基准的判别能力。
  • 完全自动化的流水线：从准则生成到评估均无需人类专家介入，便于大规模、高频次的基准迭代与系统对比。

意义与影响

FinResearchBench II 为金融领域深度研究代理的自动评估提供了全新范式。其核心贡献在于：

  1. 消除人类专家瓶颈：传统的评估基准依赖人类专家编写和执行评分准则，成本高昂且难以规模化。本文提出完全自动化的流水线，使大规模、持续性的模型评测成为可能。
  2. 提升评估客观性与可复现性：基于 LLM 的评审小组可以标准化地执行准则，减少了不同人类专家之间主观差异带来的偏差；同时由于过程可完全复现，研究结果更可信。
  3. 推动评估驱动的研究：有了可扩展的自动基准，研究者可以快速比较不同系统、追踪改进效果，从而加速深度研究代理在金融领域的迭代优化。
  4. 方法论可迁移：该流水线不限于金融报告，其核心思想——通过模型生成候选准则、LLM 评审共识筛选黄金准则——可推广到其他需要复杂文本评估的领域，如法律、医学、科技分析等。
  5. 为未来研究奠定基础：论文明确指出了该工作可用于“未来基于评估驱动的系统改进研究”，预示着自动评估与模型训练可能形成闭环，推动深度研究代理能力的持续提升。

总体而言，FinResearchBench II 通过自动生成并筛选共识驱动的黄金评分准则，有效解决了金融报告质量评估中的人工瓶颈，为深度学习研究代理的规模化、客观化评估树立了新标杆。

相关推荐

查看原文 →arxiv.org