Constraint acquisition needs better benchmarks：约束获取亟需更完善的基准测试

背景

约束获取（Constraint Acquisition, CA）及其相关研究旨在利用领域知识工件（domain knowledge artifacts）来验证和增强数学规划（Mathematical Programming, MP）模型。然而，当前这一领域的进展受到基准测试（benchmarks）不足的严重制约。

现有的基准测试主要存在以下缺陷：

1. 设计目标错位：它们最初是为评估求解器（solver）性能而设计的，而非用于评估约束获取算法。
2. 组织松散：现有基准缺乏统一的结构，对单个问题的处理方式不一致。
3. 关键要素缺失：它们忽略了约束获取方法所必需的领域知识工件。

这种基准测试的匮乏阻碍了研究的可复现性（reproducibility）和跨研究的可比性（cross-study comparability），从而延缓了约束获取方法的成熟进程。

核心内容

为了解决上述问题，本文提出了 MPMMine，这是一个专为评估约束获取算法而设计的基准测试套件。MPMMine 旨在评估那些利用多样化的领域知识工件来发现、验证和增强数学规划模型算法。

设计原则

MPMMine 的构建遵循以下六大核心原则：

• 一致性（Consistency）
• 标准化（Standardization）
• 完整性（Completeness）
• 可扩展性（Extensibility）
• 开放性（Openness）
• 版本控制（Version control）

技术实现与格式

为了确保开放性和互操作性，MPMMine 采用了统一的结构，并依赖以下开放格式：

• MiniZinc：用于数学规划模型的描述。
• CommonMark：用于自然语言描述的标准化格式。
• JSON：用于结构化数据的交换。

数据规模与内容

MPMMine 提供了丰富的数据资源，以支持不同类型的算法评估：

• 多模型支持：每个问题提供多个模型。
• 实例丰富：每个模型包含数十个实例（instances）。
• 解空间覆盖：包含数千个解（solutions）和非解（non-solutions），涵盖整数域（integer domains）和连续域（continuous domains）。
• 文本支持：提供自然语言描述，以支持基于文本到模型（text-to-model）的方法。

关键要点

• 痛点明确：现有的数学规划基准测试不适合约束获取研究，因为它们缺乏领域知识工件且组织松散，导致研究结果难以复现和比较。
• 新基准诞生：MPMMine 是首个专门针对约束获取算法设计的基准测试套件，填补了这一领域的空白。
• 标准化驱动：通过采用 MiniZinc、CommonMark 和 JSON 等开放标准格式，MPMMine 确保了数据的标准化和互操作性。
• 全面的数据覆盖：MPMMine 不仅提供模型，还包含大量的解与非解数据（整数和连续域），以及自然语言描述，能够全面评估算法的发现、验证和增强能力。
• 支持前沿方法：通过提供自然语言描述，MPMMine 特别支持了当前热门的“文本到模型”（text-to-model）研究方法。
• 工程化规范：引入版本控制和可扩展性设计，确保基准测试能够随着研究的发展而持续更新和扩展。

意义与影响

MPMMine 的提出对约束获取和数学规划领域具有重要的推动作用：

1. 提升研究可比性：通过提供标准化的基准测试，不同研究团队的结果可以直接进行比较，消除了因数据预处理不一致带来的偏差。
2. 加速技术成熟：完善的基准测试有助于更准确地评估约束获取算法的性能，从而加速该技术的成熟和应用落地。
3. 促进可复现性：统一的格式和详细的数据说明使得其他研究者能够轻松复现实验结果，增强了科学研究的透明度。
4. 支持多模态研究：同时提供结构化模型数据和自然语言描述，为结合大语言模型（LLM）等自然语言处理技术的约束获取研究提供了理想的数据基础。

总之，MPMMine 不仅是一个数据集，更是推动约束获取领域从“各自为战”走向“标准化协作”的关键基础设施。