基于思维链监督的强化学习：实现仇恨与宣传迷因的可解释检测

背景

迷因（Memes）作为一种融合图像与文本的模态，常被用于传播仇恨言论和宣传内容。其危害性在于，图像和文本单独来看可能并无恶意，但二者结合后却产生了有害意图。这种“图文互文性”使得传统的单模态检测模型难以奏效。

尽管基于思维（Thinking-based）的多模态大语言模型（MLLMs）在视觉-语言理解方面取得了显著进展，但在迷因内容审核这一特定领域的应用仍处于探索阶段。现有的研究往往侧重于提高分类准确率，而忽视了模型决策过程的透明度。然而，在内容安全领域，仅仅知道“这是有害的”是不够的，还需要知道“为什么这是有害的”，以便人工复核、模型调试以及建立用户信任。

因此，如何结合强化学习（Reinforcement Learning, RL）与思维链（Chain-of-Thought, CoT）监督，既提升检测性能，又生成高质量、可解释的自然语言理由，成为当前多模态内容审核面临的关键挑战。

核心内容

本文提出了一种基于强化学习的后训练方法，旨在通过任务特定的奖励机制和组相对策略优化（Group Relative Policy Optimization, GRPO），提升基于思维的 MLLMs 在分类性能和基于参考的解释质量。研究主要包含以下四个核心部分：

1. 现有多模态大模型的系统性实证研究

研究团队首先对现成的（off-the-shelf）MLLMs 在英语和阿拉伯语基准测试中对仇恨和宣传迷因的理解能力进行了系统性的实证评估。这一步旨在确立基线，明确当前主流模型在处理此类复杂多模态任务时的局限性，特别是在跨语言（如阿拉伯语）场景下的表现差异。

2. 构建弱监督思维链数据集

为了解决训练数据中缺乏详细推理过程的问题，作者扩展了现有的迷因数据集。具体做法包括：

• 蒸馏与多 LLM 细粒度宣传标注：利用多个大语言模型生成细粒度的宣传标注，并通过蒸馏技术生成弱监督的思维链（CoT）理由（rationales）。
• 这些 CoT 理由不仅包含分类结果，还包含了模型判断的逻辑路径，为后续的监督学习提供了丰富的信号。

3. 引入思维长度正则化的 GRPO 目标函数

这是本文的方法论核心。作者引入了一种基于 GRPO 的目标函数，并加入了“思维长度正则化”（thinking-length regularization）。该目标函数联合优化两个指标：

• 分类准确率：确保模型能正确识别迷因是否有害。
• 解释质量：确保生成的解释自然、准确且符合逻辑。 通过引入思维长度正则化，模型被鼓励生成简洁但充分的推理过程，避免冗长或无关的推理步骤，从而提升解释的可读性和有效性。

4. 无标签迷因的自我监督 GRPO

为了利用海量未标注的迷因数据，研究还探索了基于共识伪标签（consensus-based pseudo-labels）的自我监督 GRPO 方法。这种方法允许模型在未标注数据上进行训练，通过多个模型的一致性预测来生成伪标签，进一步扩大训练规模并提升泛化能力。

实验结果

在 Hateful Memes 和 ArMeme 基准测试上的实验表明：

• 性能提升：该方法在 Hateful Memes 数据集上将准确率从 79.9% 提升至 82.0%（+2.1%）；在 ArMeme 数据集上将宏观 F1 分数从 0.536 提升至 0.612（+7.6 分，包含解释时；相比原始 ArMeme 基准提升 6.1 分）。
• 可解释性：模型能够生成自然的语言解释。
• 对比基线：虽然序列分类基线在原始准确率上可能略高，但本文提出的方法在各类别的性能上更加平衡，并且提供了关键的解释能力，这在内容审核的实际应用中至关重要。

关键要点

• 问题定义：仇恨和宣传迷因利用图文交互隐藏有害意图，单模态检测失效，且现有 MLLM 在该内容审核领域的应用不足。
• 方法创新：提出基于 GRPO 的强化学习后训练框架，结合任务特定奖励和思维长度正则化，同时优化分类精度与解释质量。
• 数据增强：通过蒸馏和多 LLM 细粒度标注，构建了包含弱监督思维链理由的扩展迷因数据集。
• 跨语言支持：方法在英语（Hateful Memes）和阿拉伯语（ArMeme）基准上均验证了有效性，展示了跨语言的泛化能力。
• 自我监督扩展：利用共识伪标签在无标签数据上进行自我监督 GRPO 训练，进一步提升了模型性能。
• 性能指标：在 Hateful Memes 上准确率提升 2.1%，在 ArMeme 上宏观 F1 提升 7.6 点（含解释），并提供了平衡的类别性能和自然语言解释。
• 开源贡献：公开了代码、扩展数据集以及评估资源，促进了社区复现和进一步研究。

意义与影响

这项研究在多模态内容审核领域具有重要的理论和实践意义：

1. 从“黑盒”到“白盒”的跨越：传统的迷因检测模型往往只输出分类标签，缺乏透明度。本文方法通过引入思维链监督，使模型不仅给出“是什么”，还解释了“为什么”。这对于内容审核平台来说至关重要，因为它允许审核人员快速理解模型的判断依据，减少误判带来的争议，并提高人工复核的效率。

2. 强化学习在解释性生成中的应用范式：研究展示了如何将 GRPO 等先进的强化学习技术与思维链推理相结合，通过奖励机制引导模型生成既准确又合乎逻辑的解释。这种方法论可以推广到其他需要高可解释性的多模态任务中，如医疗影像诊断、法律文档分析等。

3. 应对跨语言和复杂模态挑战：通过在阿拉伯语等低资源或复杂语言环境下的有效表现，证明了该方法在处理全球性内容审核问题时的潜力。迷因往往包含文化隐喻和语言双关，跨语言的可解释检测有助于更公平、全面地保护全球用户免受有害内容侵害。

4. 推动开源生态与基准建设：通过公开扩展的数据集、代码和评估资源，本文为后续研究提供了坚实的基础。扩展的数据集包含了宝贵的思维链标注，这将有助于社区训练出更强大的可解释多模态模型，推动整个领域向更透明、更可靠的方向发展。

总之，这项工作不仅提升了迷因检测的技术指标，更通过引入可解释性，为解决内容审核中的信任、公平性和透明度问题提供了新的技术路径。