← 返回信息流
技术博客arXiv cs.CL·2 小时前

合成训练+多目标优化，HABIB_TAZ系统在逻辑推理竞赛夺冠

原标题：HABIB_TAZ at SemEval-2026 Task 11: Disentangling Formal Logic from Content via Synthetic Training and Multi-Objective Optimization

速览

HABIB_TAZ系统针对大语言模型形式推理受内容偏差影响的问题，使用基于规则合成的三段论数据集微调mDeBERTa-v3，避免LLM生成数据的语义噪声。训练采用多目标损失函数，结合自适应组分布鲁棒优化、可调度偏差惩罚与KL散度一致性正则化，显式分离逻辑结构与内容。在SemEval-2026 Task 11中，系统在英语子任务1、2及多语言子任务3上获得满分排名分数，准确率100%、偏差0%；在复杂噪声多语言子任务4上排名第6，准确率89.06%。该方法为逻辑推理提供了可复现的代码与数据集。

AI 深度解读

背景

大型语言模型（LLM）在众多通用自然语言处理任务中表现出色，但其形式推理能力常受到内容效应的干扰——模型在面对推理任务时，会显露出对现实世界合理性的可测量偏好。例如，当逻辑结论与常识相悖时，LLM 往往倾向于选择更“合理”的答案，而非严格遵循形式逻辑。这一缺陷限制了 LLM 在需要精确推理的领域（如法律、科学论证、数学）的应用。SemEval-2026 Task 11 正是为了评估和推动模型在解耦形式逻辑与内容方面的能力而设立。该任务覆盖 12 种语言，并包含有/无干扰前提（distractor premises）的两种场景，旨在全面衡量模型在跨语言、跨噪声条件下的逻辑推理表现。

核心内容

本文介绍了 HABIB_TAZ 系统在 SemEval-2026 Task 11 中的设计方案与实验结果。系统核心思路如下：

  1. 数据集生成：为了避免使用 LLM 增强数据引入的语义噪声（例如 LLM 生成的数据可能隐含现实世界偏见），团队自行构建了一个基于规则的三段论（syllogistic schemes）合成数据集。该数据集通过严格的逻辑规则自动生成，确保每个样本的逻辑结构清晰、内容中性，从而为模型提供“干净”的训练信号。

  2. 模型架构：采用 mDeBERTa-v3 网络作为基础编码器，并在该合成数据集上进行微调。mDeBERTa-v3 是一种多语言预训练模型，适合处理跨语言任务。

  3. 多目标优化训练管道：为了明确地将内容合理性（plausibility）与逻辑结构解耦，训练损失函数由三部分组成：

    • 自适应群体分布鲁棒优化（Adaptive Group Distributionally Robust Optimization, DRO）：用于动态调整不同子群体（如不同语言、不同前提类型）的权重，提升模型在最差情况下的性能。
    • 可调度的差异化偏见惩罚（scheduled differentiable bias penalty）：在训练过程中逐步增加对“逻辑错误但内容合理”样本的惩罚，迫使模型摆脱内容偏见。
    • KL 散度一致性正则化（KL-Divergence consistency regularization）：鼓励模型对同一逻辑结构但不同内容的输入产生一致的预测，进一步增强解耦能力。

  4. 实验结果：

    • Subtask 1（英文）、Subtask 2（含噪声英文）、Subtask 3（多语言）：均获得第 1 名，Ranking Score 达到满分 100.0，偏差（Bias）为 0.00%，准确率（Accuracy）为 100.0%。
    • Subtask 4（含噪声多语言）：该子任务最为复杂，系统排名第 6，准确率与 F1 均为 89.06%，偏差控制在 2.89%，Ranking Score 为 37.78。虽然未能夺冠，但其低偏差表明模型在噪声多语言环境下仍能较好地保持逻辑纯粹性。

  5. 开源贡献：论文称数据集生成引擎和代码库已公开，以促进未来在鲁棒逻辑推理方面的研究。

关键要点

  • 核心挑战：LLM 在形式推理中存在“内容效应”，即更容易被现实世界合理性而非纯逻辑结构所左右。
  • 解决方案：使用基于规则的全合成三段论数据，避免 LLM 数据噪声；采用多目标损失函数，同时优化群体鲁棒性、偏见惩罚和一致性正则化。
  • 模型选择：mDeBERTa-v3 作为多语言骨干，在合成数据上微调。
  • 性能亮点：在纯净无噪声子任务（英文、噪声英文、多语言）中达到完美（100% 准确率、0% 偏差）；在最具挑战性的噪声多语言子任务中保持低偏差（2.89%），但准确率下降至 89.06%，排名第 6。
  • 开源：数据集引擎和代码公开，便于重复和后续改进。
  • 局限性：在噪声多语言场景下仍存在约 11% 的错误，且偏见并非完全消除，说明解耦形式逻辑与内容在复杂现实条件下依然困难。

意义与影响

  1. 方法论创新：该工作展示了通过合成数据与多目标优化结合，可以显著提升 LLM 在形式逻辑任务中的表现，尤其是在低噪声环境中几乎完全消除了内容偏差。这为后续研究提供了一种可复制的范式——用干净、受控的合成数据替代 LLM 自生成数据，以避免错误传播。
  2. 对评测体系的价值：在 SemEval-2026 这一权威评测中，HABIB_TAZ 系统在三个子任务中取得满分，确立了其作为逻辑推理基线的地位。同时，Subtask 4 的结果揭示了多语言+噪声场景仍是开放挑战，激励社区进一步探索更鲁棒的跨语言解耦方法。
  3. 实际应用前景：降低内容效应对于构建可靠的法律、医疗、科学辅助系统至关重要。该方法若能扩展到更广泛的一阶逻辑或非三段论推理，将有望提升 AI 的决策透明度与可信度。
  4. 局限性提醒：全文基于三段论这种最基本的演绎推理形式，能否推广到更复杂的逻辑（如谓词逻辑、模态逻辑）尚未验证。此外，合成数据与真实世界语境的鸿沟（例如隐喻、歧义）仍需克服。

相关推荐

查看原文 →arxiv.org