MKG-RAG-Bench：多模态知识图谱增强生成中的检索基准测试

背景

检索增强生成（Retrieval-Augmented Generation, RAG）已成为将大型语言模型（LLMs）与现实世界知识对齐的一种极具前景的方法。然而，现有的基准测试（Benchmarks）大多忽略了多模态知识图谱增强生成（Multimodal Knowledge Graph-Augmented Generation, MKG-RAG）中检索环节所面临的独特挑战。

在实际应用中，检索往往是一个关键的性能瓶颈。多模态知识具有高度的异构性，不同模态之间的对齐极其困难。此外，专门为非结构化语料库设计的检索器，往往难以有效服务于知识图谱结构化的多模态数据。这种“检索器不匹配”的问题，导致了许多 MKG-RAG 系统在端到端任务中表现不佳。为了填补这一研究空白，我们需要一个专门针对多模态知识图谱检索进行评估的标准化基准。

核心内容

本文介绍了 MKG-RAG-Bench，这是一个跨领域的基准测试，旨在专门评估 MKG-RAG 系统中的检索性能。该基准测试的构建和评估逻辑如下：

1. 数据集构建

MKG-RAG-Bench 基于两个多模态知识图谱构建，分别涵盖通用领域和医疗领域。这两个领域具有不同的知识密度和多模态复杂度，能够全面测试模型的泛化能力。

2. 精心对齐的问答数据集

基准测试包含经过精心对齐的问答（QA）数据集。这些数据集支持对“检索”和“下游生成”两个阶段进行受控评估。这意味着研究者可以单独分析检索步骤的质量，而不必将其与生成步骤的误差混淆。

3. LLM 驱动的策展流水线

基准测试的构建采用了一种基于大型语言模型的策展流水线（LLM-based curation pipeline），主要包含三个关键步骤：

• 过滤低效用知识：剔除知识图谱中对于回答问题贡献不大的冗余或噪声信息。
• 生成结构化的查询：生成具有精确监督信号（exact supervision）的结构化查询，确保查询与知识图谱中的具体节点或关系严格对应。
• 覆盖多样的模态配置：系统性地覆盖不同的模态组合（如纯文本、图文混合、多模态混合等），以测试模型在不同输入条件下的表现。

4. 实验发现

通过对代表性检索器家族和不同模态设置的广泛实验，研究团队发现：

• 有效的多模态检索对于端到端的 MKG-RAG 性能至关重要，但依然极具挑战性。
• 检索质量强烈决定了最终的生成结果。如果检索阶段无法准确找到相关的多模态知识，后续的生成阶段几乎不可能产生高质量的答案。

关键要点

• 填补空白：现有的 RAG 基准测试主要关注文本或非结构化数据，缺乏对多模态知识图谱（MKG）检索环节的系统性评估。MKG-RAG-Bench 是首个专门为此设计的跨领域基准。
• 双领域覆盖：基准测试涵盖通用领域和医疗领域，前者测试广泛的知识检索，后者测试高专业度、高风险场景下的多模态对齐能力。
• 解耦评估：通过提供精确监督的问答对，MKG-RAG-Bench 允许研究者将“检索”作为一等公民（first-class）进行评估目标，从而隔离检索误差，诊断系统瓶颈。
• 自动化构建：利用 LLM 自动化筛选低效用知识并生成结构化查询，提高了基准测试构建的效率和质量，确保了查询与知识图谱结构的严格对齐。
• 检索是瓶颈：实验证实，在多模态环境下，检索器的性能是制约 MKG-RAG 整体效果的关键因素，现有的非结构化检索器难以直接适配多模态知识图谱。

意义与影响

MKG-RAG-Bench 的发布为多模态知识图谱 RAG 系统的发展提供了一个原则性的基础。其核心价值在于：

1. 诊断局限性：通过隔离检索环节，研究人员可以更准确地诊断当前 MKG-RAG 系统的局限性，区分问题是出在检索器的匹配能力上，还是出在生成器的理解与整合能力上。
2. 推动技术进步：明确的评估标准将激励开发者改进针对多模态知识图谱优化的检索算法，特别是解决异构数据对齐和跨模态检索难题。
3. 提升应用可靠性：在医疗等高风险领域，准确的检索是确保生成内容可信度的前提。MKG-RAG-Bench 有助于推动更可靠、更精准的多模态 AI 系统在垂直领域的落地应用。

总之，MKG-RAG-Bench 不仅是一个测试工具，更是推动多模态知识图谱增强生成技术从“可用”走向“可靠”的关键基础设施。