评估分类器性能中的不确定性：面向大语言模型与嵌套数据的应用

背景

随着自然语言处理技术的普及，研究人员越来越多地利用文本分类任务——无论是传统的监督学习模型还是最新的大语言模型（LLMs）——来从非结构化文本中测量和量化特定的构念（constructs）。在这一过程中，召回率（recall）、精确率（precision）等指标常被用作证明模型有效性的关键证据。

然而，当前的学术实践存在一个显著的缺陷：尽管这些指标本质上是受抽样变异影响的点估计（point estimates），但关于其不确定性（uncertainty）的度量往往报告不一致，甚至完全缺失。更严重的是，当不确定性被报告时，所采用的估计方法往往并不适用于特定的数据场景，特别是当标注数据集规模较小或模型性能极高时，传统方法可能会产生误导性的结果。

在社会科学领域的文本分类研究中，数据通常具有小样本、稀有构念以及文本嵌套于个体（nested within individuals）等典型特征。在这种背景下，如何准确估计置信区间，成为了提升机器学习应用透明度和科学严谨性的关键问题。

核心内容

本文旨在通过系统评估不同置信区间估计方法，解决上述不确定性报告缺失或不当的问题。研究重点模拟了社会科学文本分类中常见的典型条件：小到中等规模的样本量、低频出现的构念，以及文本嵌套在个体内的数据结构。

1. 传统方法的局限性

通过对多种模拟场景的测试，研究发现默认的统计方法表现不佳：

• Wald 区间和**基本百分位 Bootstrap（basic percentile bootstrap）**是准确性最差的方法。
• 在这些方法下，置信区间的覆盖率（coverage）有时远低于名义上的 95% 水平，这意味着研究者错误地认为模型性能显著高于实际可能性的风险极高。

2. 更准确的估计方法

研究对比了多种改进后的统计方法，发现以下方法能显著提高估计的准确性：

• Agresti-Coull 区间
• Wilson 区间
• Clopper-Pearson 区间
• 新型伪计数正则化 Bootstrap（pseudo-count regularized bootstrap）：该方法在处理 F1 分数等复合指标的计算时尤为相关且有效。

3. 处理嵌套数据（Nested Data）的挑战

当文本数据嵌套在个体内部时（例如，同一个用户产生的多条推文或评论），简单的统计推断会失效。研究证明，为了产生准确的分析区间，必须同时调整以下两个因素：

• 有效样本量（Effective N）：由于同一用户的数据点之间存在相关性，独立样本假设不再成立，需根据聚类结构调整有效样本量。
• 适当的自由度（Degrees of Freedom）：在计算统计显著性时，需考虑聚类带来的自由度损失。

4. 嵌套数据下的 Bootstrap 方法比较

在针对嵌套数据的 Bootstrap 方法中，研究比较了两种主要策略：

• 分层 Bootstrap（Hierarchical Bootstrap）：当每个个体产生中等数量的文本时，该方法比聚类 Bootstrap 更准确。
• 聚类 Bootstrap（Cluster Bootstrap）：当每个个体产生的文本数量极少时，聚类 Bootstrap 会变得过于保守（overly conservative），导致置信区间过宽，从而降低统计检验的效力。

关键要点

• 点估计不等于真理：召回率、精确率等指标仅是点估计，必须配合不确定性度量（如置信区间）才能科学地评估模型性能。
• 默认方法不可靠：Wald 区间和基本百分位 Bootstrap 在小样本或高性能场景下表现糟糕，覆盖率严重不足，应避免在严谨研究中直接使用。
• 推荐替代方案：Agresti-Coull、Wilson、Clopper-Pearson 区间以及新型伪计数正则化 Bootstrap 是更稳健的选择，特别是对于 F1 等指标。
• 嵌套数据需特殊处理：对于具有层级结构的数据（如用户-文本嵌套），必须调整有效样本量和自由度，否则推断结果无效。
• Bootstrap 方法的选择取决于数据密度：在嵌套数据中，若个体产生的文本量中等，分层 Bootstrap 优于聚类 Bootstrap；若文本量极少，聚类 Bootstrap 过于保守。
• 设计阶段的重要性：研究呼吁在实验设计阶段就充分关注验证样本量的大小，以确保后续统计推断的有效性。

意义与影响

这项研究对机器学习在社会科学及各类文本分析领域的应用具有深远的影响：

1. 提升透明度与可重复性：通过提供关于区间估计的明确指导，本文有助于规范学术界和工业界对模型性能不确定性的报告标准，减少因统计方法误用导致的虚假显著性结论。
2. 优化模型评估流程：为研究人员提供了具体的工具和方法论，使其能够在小样本、高频噪声或嵌套数据等复杂现实场景中，更准确地评估 LLM 和传统分类器的真实性能。
3. 强调实验设计的前瞻性：研究结果强调了在数据收集和设计阶段就考虑统计功效和样本量重要性，鼓励研究者从源头保证数据质量，而非仅在事后补救统计缺陷。
4. 促进跨学科方法融合：将社会科学中成熟的统计推断方法（如处理嵌套数据的层级模型）引入机器学习评估体系，促进了两个领域方法论的交叉与融合。