ReMMD：面向多模态虚假信息的真实多语言多图像智能体验证框架

背景

随着社交媒体内容的演变，虚假信息的传播形态正变得日益复杂。当前的病毒式传播帖子往往不再局限于单一模态，而是结合了长篇多语言叙述、多张图片、混合来源以及细微的文本-图像框架错误。这种多模态、跨语言的复杂性使得传统的检测手段面临巨大挑战。

现有的基准测试（Benchmarks）和方法通常难以匹配这一现实场景。它们往往孤立地处理短标题、单张图片、二元标签（真/假）或单一篡改来源。此外，在现实世界的证据搜索中，现有的智能体（Agentic）验证方法往往成本高昂且效率低下。为了应对这一差距，研究人员提出了 ReMMD，一个旨在解决真实世界多模态虚假信息检测难题的框架。

核心内容

ReMMD 是一个面向多模态虚假信息检测的真实多语言多图像智能体验证框架。该框架主要由两个核心部分组成：ReMMDBench 基准数据集和 ReMMD-Agent 智能体验证器。

1. ReMMDBench：现实世界多模态虚假信息基准

ReMMDBench 是一个包含 500 个样本的真实世界多模态虚假信息检测基准数据集。其设计旨在全面覆盖当前虚假信息的复杂特征，具体包括：

• 多语言支持：涵盖五种单语言环境和两种跨语言设置。
• 多图像帖子：每个样本包含多张图片，而非单一图像。
• 细粒度标签体系：
  • 五类真实性标签（Five-way veracity labels）：比传统的二元分类更细致。
  • 八类失真标签（Eight distortion labels）：用于标识不同类型的篡改或误导手法。
• 结构化元数据：包含证据来源（Evidence provenance）和推理过程（Rationales）。
• 文本长度分层：分为三个文本长度层级，以模拟不同长度的叙述。

2. ReMMD-Agent：持久记忆验证智能体

ReMMD-Agent 是一个具有持久记忆能力的验证智能体，其工作流程包括：

• 原子化分解：将帖子分解为独立的原子观点（Atomic points）。
• 可重用证据集构建：基于分解后的观点，构建并维护一个可复用的证据集合。
• 结构化输出预测：生成结构化的 L1/L2/L3 层级输出，以提高验证的可解释性和准确性。

3. 性能评估

研究团队在多个系统上对 ReMMD-Agent 进行了评估，包括专有系统、开放大型视觉语言模型（LVLMs）、MMD-Agent 以及 T2-Agent。主要结果如下：

• 最佳性能：ReMMD-Agent 在五类真实性判断任务中取得了最佳性能。
• 准确率与 F1 分数：在使用 GPT-5.2 模型时，ReMMD-Agent 达到了 41.80% 的准确率和 39.12% 的宏观 F1 分数（Macro-F1）。
• 成本效益：
  • 相比 MMD-Agent，成本降低了 17.5%。
  • 相比 T2-Agent，成本大幅降低了 79.9%。

关键要点

• 现实场景适配：ReMMD 解决了现有基准测试过于简化（如单图、短文本、二元标签）的问题，更贴近真实世界中多语言、多图、长文本的复杂虚假信息形态。
• 多语言与跨语言：数据集明确支持五种单语言和两种跨语言设置，增强了模型在处理全球性社交媒体内容时的泛化能力。
• 细粒度验证：通过引入五类真实性标签和八类失真标签，ReMMD 提供了比传统“真/假”二元分类更丰富的诊断信息。
• 智能体架构优化：ReMMD-Agent 通过持久记忆和原子化分解策略，实现了证据的高效复用，显著降低了验证成本。
• 成本显著降低：在保持高性能的同时，ReMMD-Agent 相比现有先进方法（如 T2-Agent）将验证成本降低了近 80%，解决了智能体验证在实际应用中成本过高的痛点。
• 开源与可复现：该项目已在指定 URL 公开，包含代码、数据和媒体资源，促进社区进一步研究。

意义与影响

ReMMD 的提出标志着多模态虚假信息检测从“简化实验室环境”向“复杂现实世界”的重要转变。

1. 推动基准测试升级：ReMMDBench 为社区提供了一个更具挑战性和现实意义的基准，迫使研究人员开发能够处理多语言、多图和细粒度失真类型的更鲁棒模型。
2. 提升检测效率与经济性：通过优化智能体验证流程，ReMMD-Agent 证明了在保持高精度的同时可以大幅降低计算成本。这对于大规模部署虚假信息检测系统至关重要，尤其是在资源受限的环境中。
3. 增强可解释性：结构化输出和证据来源的提供，使得检测结果不仅是一个标签，更包含推理过程。这有助于人类审核员快速理解模型决策依据，提高人机协作的效率。
4. 应对全球化挑战：对多语言和跨语言设置的专门支持，使得该框架能够应对全球社交媒体平台上日益增长的跨国界虚假信息传播问题，具有广泛的国际应用潜力。

总之，ReMMD 不仅是一个新的基准和工具，更是为多模态虚假信息检测领域确立了一个更贴近现实、更具成本效益且可解释的新标准。