提示格式影响LLM评分，FSI/PSI新指标量化差异

背景

在大语言模型（LLM）的评测实践中，研究者通常使用所谓的“提示包装器”（prompt wrappers）来将任务输入格式化为模型可接受的风格。这些包装器往往只在格式化细节上存在差异——比如换行符、标点、模板措辞等。然而，越来越多的证据表明，这些看似无关紧要的格式差异足以导致模型得分发生显著变化，甚至可能翻转排行榜上的结论。这一现象对 LLM 评测的统计可靠性提出了根本性质疑：如果仅仅更换一种提示格式就能改变排名，那么单次评测结果还有多少说服力？

为了系统性地量化这一问题，本论文从可控的 token 数量（token-controlled）出发，设计了一套协议，并引入了两个互补的指标：格式敏感性指数（Format Sensitivity Index, FSI）和可解析性敏感性指数（Parseability Sensitivity Index, PSI）。通过对大规模生成结果的分析，论文揭示了提示格式方差与模型合规性之间的深层关系，并给出了面向实际评测与结构化输出部署的建议。

核心内容

该研究在 OpenRouter 平台上进行了 140,000 次模型生成实验，覆盖 7 个问答（QA）任务、5 类提示包装器家族以及 4 个指令微调模型（参数规模从 7B 到 72B）。具体实验设置如下：

• 任务类型：7 个不同的 QA 基准，要求模型输出符合特定模式（如 JSON 结构、简单文本回答等）。
• 包装器家族：5 类不同的提示模板，仅改变格式化细节（如是否添加前置说明、是否使用 markdown 代码块包裹、是否使用不同换行方式等），但保持语义不变。
• 模型：4 个主流 instruct 模型，参数规模从 7B 到 72B，涵盖不同代际和架构。
• 协议：所有生成均在 token 级别进行控制（通过限制最大生成 token 数等方式），避免因截断或过度生成带来的混杂变量。

研究者定义了核心指标：

• Format Sensitivity Index (FSI)：由于包装器选择而导致的模型准确率变化范围（最大值减最小值）。FSI 越高，说明模型对该格式越敏感。
• Parseability Sensitivity Index (PSI)：对应的模型输出“可解析性”的变化范围。可解析性定义为输出是否符合任务要求的结构（如能否成功解析为 JSON、是否包含正确答案字段等）。

主要发现：

1. 跨模型 FSI 差异巨大：不同模型之间的平均 FSI 差距超过 30 倍。某些模型几乎不受包装器影响，而另一些模型则表现出极大的得分波动。
2. FSI 主要由合规性失败解释：通过回归分析发现，FSI 的差异很大程度上可归因于模型在格式上的“合规性”（compliance）失败——即模型有时会完全忽略指令，输出不符合要求格式的内容。当模型合规性差时，包装器微调就会引发更大的准确率波动。
3. 可解析性是准确率的强预测因子：固定效应回归显示，即使在控制任务、模型和包装器变量后，可解析性仍是准确率的一个非常强的预测因子。也就是说，一个输出如果格式正确（可解析），它往往也更可能包含正确答案；反之，格式错误通常伴随回答质量下降。

论文进一步指出，如果只报告单一准确率而不考虑包装器方差和合规性指标，这样的统计结果非常脆弱。因此，作者建议在基准测试报告中同时给出 FSI 和 PSI，并提倡在结构化输出部署中尽早检测格式合规性，而不是仅依赖最终答案准确性。

关键要点

• 提示包装器的格式化差异（如换行、标点、模板措辞）可显著影响模型得分，其影响程度足以翻转排行榜结论。
• 研究引入 FSI（格式敏感性指数）和 PSI（可解析性敏感性指数）两个定量指标，用于评估包装器导致的性能波动范围。
• 在 140,000 次生成实验中发现，不同模型之间的平均 FSI 差距超过 30 倍，且该差异主要由模型对格式的合规性失败所解释。
• 可解析性（格式合规性）在控制任务、模型、包装器后仍是准确率的强预测因子——格式正确的输出更可能包含正确答案。
• 仅依赖单一准确率进行基准测试在统计上是脆弱的，应同时报告包装器方差和合规性指标。
• 对结构化输出部署而言，早期检测格式合规性比仅关注最终答案准确性更为稳健。

意义与影响

这项研究对 LLM 评测方法论和实际应用均有重要启示。

对基准测试社区：论文直接质疑了当前主流排行榜（如 Open LLM Leaderboard 等）仅报告单一准确率的做法。即使使用精心设计的提示模板，不同包装器选择也可能导致排名反转。因此，未来的评测标准应当纳入格式敏感性指标，例如要求同时报告 FSI 或类似方差度量，并公开给出所用包装器家族。这有助于提高评测结果的可重复性和统计鲁棒性。

对模型开发与部署：研究发现合规性失败是格式敏感性的主要来源，这意味着模型对指令格式的“理解”能力可能被低估。开发者可以通过训练数据中增加格式化变体、强化指令跟随能力来降低 FSI。对于需要结构化输出（如 JSON、表格）的应用场景，建议部署端进行两步检查：先验证格式合规性，再提取答案。这可以规避因格式错误导致的重大失误。

对研究社区：该工作为“提示工程”领域提供了量化工具，使人们从“哪个提示最好”的盲目尝试转向“提示对模型有何种敏感性”的系统分析。FSI 和 PSI 可以被视为模型鲁棒性的两个新维度，未来可将其纳入模型能力评估框架中。

总体而言，这篇论文通过大规模实证表明，格式化细节不是表面问题，而是影响 LLM 评测可靠性的核心因素。它呼吁社区从“精确到一个数字”的评测观转向“附带方差信息”的统计观，这对于推动 LLM 评估的科学化具有深远意义。