新基准CANDI-QA评估大模型专业领域问答能力

背景

大型语言模型的部署正逐步扩展至高度专业化的领域，例如医学诊断和金融咨询。这些领域不仅要求模型具备广泛的知识储备，更强调其在特定情境下提供准确、上下文敏感且契合用户需求的回答。传统的问答基准（如常识问答、阅读理解）往往无法捕捉这些专业场景所必需的上下文基础、用户意识以及领域深度理解能力。随着LLM在关键决策场景中的应用日益增多，亟需一种能够评估其在专业领域内上下文对齐能力的评测方法。为此，研究团队推出了CANDI（Contextual Alignment for Niche Domains Question Answering）。

核心内容

CANDI的核心贡献在于提出一个新的评测数据集——CANDI-QA，旨在评估LLM在专业领域内提供准确、上下文敏感且与用户对齐的回答能力。数据集由专家精心构建，包含两类问答对：

1. 信息辅助类问题（Information Assistance Questions）：直接、基于事实的查询，要求模型从给定上下文中精确提取信息。例如，从医疗记录中检索特定检查结果或药物剂量。
2. 应用推理类问题（Applied Inference Questions）：需要多跳推理的任务，要求模型结合情境进行推断，生成可操作的见解。例如，根据患者症状、用药史和实验室数据，推断可能的诊断或建议下一步检查。

研究团队在该数据集上评估了超过十个不同的语言模型，涵盖从轻量级开源模型到最先进的闭源系统。作为稳健的基线方法，他们提出了MTSS-Net，一种轻量级的神经符号框架，将神经检索与基于规则的推理相结合。实验结果表明，在当前LLM中，实现专业领域的上下文对齐仍然面临巨大挑战，现有模型在缺乏增强的上下文或符号集成的情况下表现有限。

关键要点

• CANDI-QA专注于评估LLM在医学诊断、金融咨询等专业领域的上下文对齐能力，而非通用知识。
• 数据集包含两类精心设计的问答：信息辅助类（事实提取）和应用推理类（多跳情境推理）。
• 评估覆盖超过十种模型，从轻量开源（如LLaMA系列）到顶级闭源（如GPT-4、Claude等）。
• 提出的基线MTSS-Net结合了神经检索与规则推理，是一种轻量级神经符号方法，为领域问答提供了可靠的参考。
• 实验结果揭示当前LLM在专业领域的上下文对齐上存在明显不足，尤其是复杂推理和情境感知方面。
• CANDI-QA旨在促进上下文感知语言模型的研究，推动开发面向高风险领域的稳健、可信AI系统。

意义与影响

CANDI填补了现有问答基准在专业领域上下文对齐评估上的空白。传统基准通常忽视用户背景、任务的细微差别以及推理的连贯性，而CANDI直接针对这些缺失维度。其意义体现在：

• 推动评测标准化：为医疗、金融等高风险领域提供了专门的评测基准，帮助研究者量化模型在真实应用中的表现短板。
• 启发模型设计方向：实验表明，仅靠纯神经网络的方法难以达到理想的上下文对齐，而MTSS-Net这类神经符号融合思路可能成为未来改进的重要方向。
• 促进可信AI发展：通过暴露当前LLM在专业推理和用户对齐上的不足，CANDI间接推动模型在可解释性、鲁棒性和安全性上的提升，这对实际部署至关重要。
• 开源社区价值：数据集和基线方法为后续研究提供了可复现的起点，鼓励更多工作在专业领域上下文对齐上展开探索。