Object Aligner：为图结构JSON提供可配置相似度评分，助力LLM提示优化

背景

大型语言模型（LLMs）常被要求生成符合固定JSON模式的结构化输出，这在信息抽取、工具调用、代理规划以及知识图谱构建等领域至关重要。然而，衡量模型输出与黄金参考的匹配程度一直是一个难题：精确匹配过于脆弱，文本相似度无法捕捉结构细节，而LLM作为判官则成本高昂、结果不透明且非确定性。当前方案难以兼顾确定性、结构敏感性、效率与可扩展性，本文提出Object Aligner（OA）库作为解决方案。

核心内容

Object Aligner（OA）是一个开源的Python库，旨在通过递归对齐两个JSON对象的树结构，赋予精确的确定性相似度评分。具体而言，OA应用匈牙利算法处理无序集合（例如对象集合），以及序列对齐算法处理有序序列（例如数组）。评分过程遵循用户定义的JSON Schema扩展，允许在模式声明的粒度级别上给予部分信用。这种配置方式完全通过JSON Schema扩展实现，适配新任务只需注释模式，无需编写代码。

然而，复杂的结构化数据并非简单的平面树形结构：记录可能构成由任意标识符键控的图或超图，这打破了先前相似度度量的假设。Object Aligner的中心贡献是引用对齐（referential alignment），通过推断黄金参考与候选标识符之间的双射（bijection）来解决这一问题，并通过此双射对所有引用进行评分，从而使评分结果不受标签重命名的影响。由于精确恢复此双射等价于图同构问题，Object Aligner使用Weisfeiler-Leman（WL）颜色细化近似实现这一过程。

此外，Object Aligner提供顺序敏感的序列对齐模式，专门针对排名和规划任务。该对齐过程还能定位所有不匹配点，因此无需额外成本即可输出排名修复建议。Object Aligner已在GEPA提示优化器中作为奖励函数使用，在所有数据集上均能提供帮助或保持中性表现。

关键要点

• Object Aligner通过递归树对齐实现确定性JSON相似度评分，结合匈牙利算法（无序）和序列对齐（有序）。
• 评分粒度由JSON Schema扩展定义，配置灵活，无需编写代码。
• 引用对齐解决图/超图标识符问题，通过Weisfeiler-Leman近似图同构，实现标签不变性。
• 顺序敏感序列对齐模式专为排名与规划设计。
• 自动定位不匹配点，支持无需成本的排名修复建议。
• 作为GEPA提示优化器奖励，在所有数据集上表现中性或促进。

意义与影响

Object Aligner填补了LLM结构化输出评估领域的关键空白，将传统脆弱的精确匹配、结构忽略的文本相似度以及昂贵的非确定性LLM判官统一为高效、确定、可配置的解决方案。其开放源代码和JSON Schema驱动的适配性显著降低了新任务的门槛，使研究者与开发者无需深厚编程经验即可构建可靠的提示优化管道。

在代理规划、知识图谱构建与工具调用等高要求场景中，Object Aligner的结构敏感评分与自动修复能力，能提升模型输出质量并降低人工干预成本。特别值得注意的是，其作为GEPA提示优化器奖励的实用集成，证明了该库在真实闭环优化循环中的稳健性与多数据集通用性。此创新有望成为LLM结构化任务评估的标准工具，推动从“黑箱相似度”向“可解释、可控结构对齐”的范式转变，最终加速可靠AI应用在复杂数据场景下的落地。