LakeQuest：跨数据湖三领域问答基准发布

背景

现代问答系统在干净、模式对齐的语料上表现优异，但现实世界中的知识很少以如此规整的方式呈现。企业及科学数据湖中的问答需要系统在异构、弱结构化的表、文本段落和关联元数据集合中导航。当前主流基准测试往往忽略这种嘈杂的发现过程，未能评估端到端的性能。为了填补这一空白，研究者引入了 LakeQuest——一个经人工验证的基准，包含 9,846 个问答对，专门用于评估在真实数据湖上的端到端“检索-合成”流水线。

核心内容

LakeQuest 是一个跨三个不同领域（AI/ML 元数据、零售银行、多模态生物医学药物信息）的基准，每个问题都配有精确的、模态感知的证据指针。通过将源发现与跨模态合成分离，LakeQuest 暴露了现代问答系统中的关键失败模式。基准评估包括标准的 Retrieval-Augmented Generation（RAG）和智能体工具使用方法，结果揭示：高质量检索并不保证正确推理。系统在以下方面持续遇到困难：元数据图中的关系链式推理、银行分类账中的政策依据定位，以及生物医学上下文中联合表格问答。这些发现突显了未来智能体问答系统中需要稳健的发现机制和忠实的跨文件组合能力。

具体数据：LakeQuest 包含 9,846 个问答对，覆盖三个领域：AI/ML 元数据（如论文、模型、数据集之间的关联）、零售银行（如交易记录、客户信息、政策文档）、多模态生物医学药物信息（如表格、文本、图像描述）。每个问题都带有精确的模态感知证据指针，明确标注了答案来源是表格、段落还是元数据条目。

评估方法：基线实验包括标准 RAG 方法（使用稠密检索+生成模型）和智能体工具使用（如调用 SQL 查询、API 调用、文档解析等）。结果显示，检索质量（如召回率、准确率）与推理正确性之间没有强相关——即使检索到了正确证据，系统仍可能错误地组合或推理。

关键要点

• LakeQuest 是首个针对数据湖的端到端问答基准，覆盖三个不同领域，包含近 10,000 个经人工验证的问答对。
• 每个问题都配有模态感知的证据指针，明确指向表格、文本或元数据，从而能够独立评估源发现与跨模态合成的能力。
• 基线评估表明，RAG 和智能体工具方法在元数据关系链式推理、银行政策依据定位以及生物医学表格联合问答上存在系统性失败。
• 高质量检索并不保证正确推理；检索与推理之间的差距是当前问答系统的主要瓶颈。
• 未来智能体问答系统需要更强大的发现机制（如跨模式搜索、关系图遍历）和更忠实的跨文件组合机制（如表格与文本的联合推理）。

意义与影响

LakeQuest 的发布为问答系统研究提供了一个更贴近真实场景的评估平台。它揭示了现有系统在面对数据湖中杂乱、异构信息时的脆弱性，尤其是当答案需要跨多个文件、多种模态（表格、文本、元数据）进行组合时。该基准直接推动了以下方向的发展：1）更鲁棒的元数据发现与关系推理能力；2）跨模态联合推理的模型设计；3）端到端智能体系统的评估方法论。未来，基于 LakeQuest 的挑战有望催生新一代能够自主导航数据湖并忠实合成答案的问答系统，对企业和科学研究中的知识管理具有重要实践价值。