LLM不确定性估计：英语推理提升多语言问答可靠性

背景

不确定性估计（Uncertainty Estimation, UE）使基于 LLM 的系统能够判断何时应放弃回答，从而提升安全性和可靠性。然而，现有研究几乎全部集中在英语场景，对多语言尤其是低资源语言的研究极为匮乏。随着 LLM 在全球范围内的部署，理解它们在非英语语言中 uncertainty estimation 的表现变得至关重要。本文首次在大规模多语言设置下开展 UE 方法的系统评估，覆盖 22 种语言，涵盖高资源、中资源和低资源语种，旨在为跨语言场景下的安全 abstention（放弃回答）策略提供实证指导。

核心内容

本研究使用两个人工策划的问答（Q&A）数据集，对9种不确定估计方法（包括 open-box 和 closed-box 两类）进行了全面比较。研究涉及多种模型规模与架构，在激发长链推理（long-form reasoning）的条件下进行测试，并刻意避免使用 LLM-as-a-judge 或基于嵌入的评分，因为这些方法可能引入评估噪声。主要实验设计与发现如下：

• 语言与推理语言设置：实验同时考虑了问题语言（22种）和模型推理语言（英语 vs 原语言）。特别设置了“跨语言推理”条件：问题保留为低资源语言，但要求模型用英语进行推理并生成最终答案。
• UE 方法：包括基于概率的 open-box 方法（如 softmax 置信度、熵等）和自述不确定性的 closed-box 方法（模型直接输出“不确定”或给出置信度短语）。
• 评估指标：使用 selective prediction 框架下的代表性指标，如 coverage 与 risk 的权衡，以及 AUROC 等。

三个主要可操作发现：

1. 低资源语言理解能力基本完整，瓶颈在于生成：当模型对低资源语言的问题进行英语推理时，UE 性能显著提升。这暗示模型对低资源语言问题的理解能力并未严重受损，但用原语言直接生成答案时可靠性下降。
2. 推理语言比问题语言更关键：促使模型用英语推理几乎消除了低资源语言与高资源语言之间的 UE 性能差距。说明生成阶段的语言选择对不确定性估计的影响远超问题语言本身。
3. UE 方法的选择应依据模型规模：在小规模模型上，open-box 概率方法（如 softmax 置信度）优于其他方法；在大规模模型上，closed-box 自述不确定性（模型自我表达不确定）表现更佳。

此外，论文还分析了 selective prediction 中阈值的选择问题，提供了在多语言场景下校准 abstention 的实用指南。

关键要点

• 首次大规模多语言 UE 评估：覆盖 22 种语言（高、中、低资源），使用人工策划数据集，避免自动评分噪声。
• 推理语言策略可大幅提升 UE：对低资源语言问题，使用英语推理（而非原语言）能显著改进不确定性估计，表明理解能力并非主要限制。
• 生成语言比问题语言更影响 UE 性能：英语推理几乎抹平了不同资源语言间的 UE 差距，说明 generation 可靠性是瓶颈。
• 小模型适用 open-box 概率方法，大模型适用 closed-box 自述不确定性：方法选择需根据模型规模调整。
• 提供了多语言场景下的阈值选择分析：为模型在实际中何时 abstain 提供了校准指导。

意义与影响

这项研究填补了 LLM 不确定性估计在多语言场景下的大规模实证空白。其发现具有直接的应用价值：

• 部署指导：对于低资源语言应用，推荐采用“问题保持原语言 + 模型用英语推理”的策略，既能利用模型的理解能力，又能获得更可靠的不确定性估计。
• 模型选择建议：不同规模模型应选用不同的 UE 方法，避免了“一刀切”导致的效果不佳。
• 安全性与公平性：低资源语言用户可能本应获得与高资源语言用户相同的安全水平，本研究表明通过调整推理语言可以显著缩小这一差距，有助于提升 LLM 服务的公平性。
• 未来方向：论文指出需要进一步研究更丰富的推理语言选择（不仅是英语）、更大规模的模型族，以及针对生成任务（而非仅 MCQA）的 UE 方法。此外，其方法论（避免 LLM-as-a-judge）也为后续评估提供了可复现的范例。

总之，该工作为多语言 LLM 的部署与 abstention 策略提供了第一手的大规模证据，推动了 uncertainty estimation 从英语中心走向多语言、跨语言的实际场景。