← 返回信息流
技术博客arXiv cs.CL·3 小时前

DiARC：区分正负样本提升大模型类ARC推理能力

原标题：\textsc{DiARC}: Distinguishing Positive and Negative Samples Helps Improving ARC-like Reasoning Ability of Large Language Models

速览

针对大模型在ARC类任务中表现不佳且闭源模型成本高昂的问题，研究提出DiARC方法。该方法借鉴偏好对齐思想，通过输出级视觉变换、DSL规则反转及任务规则编辑三种方式构建负样本，使模型能区分正负样本。实验表明，DiARC能显著提升基线模型在多个基准上的表现。

AI 深度解读

DiARC：区分正负样本有助于提升大语言模型的 ARC 类推理能力

背景

抽象与推理语料库（Abstraction and Reasoning Corpus, 简称 ARC）由 François Chollet 提出，旨在衡量人工智能的通用智能水平。ARC 包含一系列任务，要求模型从有限的网格样本中总结规律，并预测输出网格。这种任务类似于人类在解决智力测验题时的思维过程，强调少样本下的模式归纳与逻辑推理。

近年来，随着大语言模型（LLMs）的兴起，许多研究尝试将 ARC 任务转化为基于文本的推理任务，以利用 LLM 强大的上下文学习能力。然而，这一领域面临两大瓶颈：

  1. 开源模型表现不佳：基于开源 LLM 的方法通常难以达到令人满意的效果，缺乏足够的推理深度。
  2. 闭源模型成本高昂：依赖 GPT-4 等闭源模型虽然效果较好，但推理成本极高，难以规模化应用。

当前的主流改进思路主要集中在数据增强（Data Augmentation）上，即通过构造更多的 ARC 类数据来进行全面的监督微调（SFT）。然而，本文作者认为，仅靠增加正样本数量并不足以根本解决推理能力的瓶颈。解决 ARC 类问题的关键，不仅在于对“正确答案”（正样本）的监督，更在于模型需要具备区分“错误答案”（负样本）的能力，从而通过对比学习来优化推理路径。

核心内容

针对上述痛点，本文提出了一种名为 DiARC 的新方法。该方法借鉴了偏好对齐（Preference Alignment）的思想，旨在通过构建正负样本对（Preference Pairs），使模型学会区分正确与错误的推理结果。

1. 核心理念：正负样本对比

传统的微调通常只关注如何让模型生成正确的输出（正样本）。DiARC 认为，引入负样本监督可以迫使模型更深入地理解任务规则，识别出哪些推理路径是“似是而非”的错误陷阱。通过让模型在正样本和负样本之间做出区分，可以显著提升其推理的鲁棒性和准确性。

2. 负样本构造策略

为了构建高质量的负样本，DiARC 提出了三种具体的构造方法，这些方法在保持观察到的演示（demonstrations）不变的前提下，生成了具有信息量的“近失”（near-miss）替代方案：

  • 输出级视觉变换（Output-level Visual Transformations）： 直接在最终输出的网格层面进行视觉上的修改或扰动。例如，改变颜色、移动物体位置或翻转网格。这些变换生成的样本在视觉上与正确答案相似，但逻辑上是错误的，迫使模型关注更深层的结构而非表面特征。

  • DSL 级规则反转（DSL-level Rule Inversion）： ARC 任务通常可以用领域特定语言（Domain Specific Language, DSL）来描述其背后的逻辑规则。该方法通过反转或修改 DSL 中的关键规则来生成负样本。例如，如果正确规则是“将红色方块向右移动”，负样本可能基于“将红色方块向左移动”或“不移动”的规则生成。这直接针对模型的逻辑推理核心进行干扰训练。

  • 任务特定规则编辑（Task-specific Rule Editing）： 针对特定类型的 ARC 任务，手动或半自动地编辑其特定的推理规则。这种方法能够生成更具针对性的错误示例，帮助模型识别特定任务类型中的常见错误模式。

3. 方法流程

  1. 数据准备：选取 ARC 任务及其对应的正样本（正确输入-输出对）。
  2. 负样本生成：利用上述三种策略，为每个正样本生成多个高质量的负样本。
  3. 偏好对齐训练：构建包含正样本和负样本的对子，使用偏好优化算法（如 DPO 或类似方法）对基座模型进行微调，使模型赋予正样本更高的概率，负样本更低的概率。

关键要点

  • 创新视角：突破了仅依赖数据增强和正样本监督的传统范式，引入负样本区分能力作为提升 LLM 推理能力的关键因素。
  • 三种负样本构造器：
    • 视觉变换：从感知层面制造混淆。
    • DSL 规则反转：从逻辑层面制造矛盾。
    • 规则编辑：从任务语义层面制造偏差。
  • 保持演示不变：所有负样本的构造均基于相同的输入演示，确保模型是在同一上下文约束下进行对比学习，避免了分布偏移问题。
  • 通用性：该方法不依赖于特定的闭源模型，适用于开源 LLM 的微调优化。

意义与影响

DiARC 的研究成果在多个 ARC 类基准测试中均显示出对基线模型性能的持续提升。其意义主要体现在以下几个方面：

  1. 降低对闭源模型的依赖：通过优化开源模型的推理能力，DiARC 为低成本、高效率地解决复杂推理任务提供了可行路径，减少了对昂贵闭源 API 的依赖。
  2. 深化对“推理”的理解：研究证实，区分错误答案的能力与生成正确答案的能力同等重要。这为后续的大模型训练提供了新的指导方向——即在微调阶段应更加重视负样本的质量和多样性。
  3. 推动 ARC 任务的文本化进展：随着更多基于 LLM 的方法能够有效地处理 ARC 类任务，我们将更接近实现真正的通用人工智能（AGI）所需的抽象与推理能力。

代码已开源，便于社区复现和进一步研究。

相关推荐

查看原文 →arxiv.org