超越“一种语言，一种文字”：用 PuMVR 量化多模态大语言模型中的正字法偏见

背景

当前的多模态大语言模型（Vision-Language Models, VLMs）因其卓越的多语言能力而备受赞誉。然而，这些模型在训练和评估中往往基于一个有缺陷的假设：即一种语言仅对应一种书写系统（writing system）。

这种简化忽略了全球数十亿使用多文字语言（multi-script languages）的用户，例如旁遮普语（Punjabi）、塞尔维亚语（Serbian）、印地语-乌尔都语（Hindi-Urdu）、库尔德语（Kurdish）等。在这些语言中，同一语言可能使用多种不同的文字系统进行书写。由于这种正字法偏见（orthographic bias），模型在处理这些语言时，其能力可能会在不同文字系统之间出现断裂，导致对部分用户群体的服务不公。

核心内容

为了解决这一问题，研究团队引入了 PuMVR（Punjabi Multimodal Visual Reasoning，旁遮普语多模态视觉推理），这是首个旨在量化文字依赖型偏见（script-dependent bias）的基准测试。

1. PuMVR 基准测试设计

PuMVR 包含 375 个基于文化背景的图像推理任务。这些任务专门针对旁遮普语的三种活跃书写系统设计：

• Gurmukhi（古尔穆基文）：主要用于印度境内的旁遮普语。
• Shahmukhi（沙赫穆基文）：主要用于巴基斯坦境内的旁遮普语。
• Roman（罗马化拼写）：常用于社交媒体和非正式交流。

2. 实验评估与“文字差距”（Script Gap）

研究团队对 10 个最先进的 VLM 模型进行了评估，结果揭示了一个显著的“文字差距”（Script Gap）：

• 性能不一致：模型经常能在一种文字系统中解决视觉谜题，却在另一种文字系统中无法解决完全相同的任务。
• 准确率差异巨大：不同文字系统间的准确率差异（accuracy deltas）高达 16%。
• 一致性极低：文字一致性率（Script Consistency Rates, SCR）低至 24.8%。这意味着模型在跨文字系统处理同一语言内容时，表现极不稳定。

3. 视觉输入的作用与局限性

研究发现，虽然视觉输入确实提高了模型的绝对性能（absolute performance），但它并没有缩小不同文字系统之间的性能差距。相对偏见（relative bias）依然存在。这表明，仅仅增加视觉模态并不能解决由文字系统差异引起的认知偏差。

4. 推理模式的差异

进一步分析表明，模型的推理模式在不同文字系统间的可迁移性有限。即使面对相同的视觉内容，仅因输入文字系统的不同，模型的“思维链”（Chain-of-Thought）路径就会发生分化。这暗示了模型内部对文字系统的编码和处理机制存在深层的不对称性。

关键要点

• 挑战单一文字假设：现有 VLMs 假设“一种语言=一种文字”是错误的，忽视了多文字语言用户的实际需求。
• PuMVR 基准首创性：PuMVR 是首个专门用于量化旁遮普语三种文字系统（Gurmukhi, Shahmukhi, Roman）偏见的多模态基准。
• 显著的性能鸿沟：在 10 个主流 VLM 中发现了严重的文字依赖偏见，准确率波动可达 16%，文字一致性率（SCR）低至 24.8%。
• 视觉模态无法消除偏见：视觉信息的加入提升了整体准确率，但未能弥合不同文字系统间的相对性能差距。
• 推理路径分化：不同文字系统导致模型产生不同的推理路径，表明偏见根植于模型的内部处理机制，而非简单的特征缺失。
• 提出 SCR 作为核心指标：研究建议将“文字一致性率”（SCR）作为评估多语言模型公平性和鲁棒性的核心指标。

意义与影响

这项研究对多模态人工智能的发展具有深远的影响：

1. 重新定义多语言评估范式：传统的多语言评估往往只关注语言本身，而忽略了书写系统的差异。PuMVR 和 SCR 指标的挑战性发现，迫使研究者重新审视当前的评估框架，必须将“文字系统”作为独立且关键的因素纳入考量。
2. 推动公平 AI（Equitable AI）：通过量化正字法偏见，研究为开发更公平、更具包容性的 AI 系统提供了数据支持和理论框架。这对于服务全球数十亿多文字语言用户至关重要，有助于减少技术鸿沟。
3. 揭示模型内部机制缺陷：研究指出视觉模态无法自动纠正文字偏见，这提示未来的模型架构设计需要在底层表示学习（representation learning）层面解决文字系统的对齐问题，而不仅仅是依赖多模态融合。
4. 促进跨文化技术适配：对于像旁遮普语、塞尔维亚语这样具有复杂文字生态的语言，该技术基准为开发者提供了具体的改进方向，确保 AI 服务不会因文字形式的不同而歧视特定社群。

总之，PuMVR 不仅是一个新的基准测试，更是对当前 VLMs 多语言能力“虚假繁荣”的一次深刻反思，呼吁业界从“语言中心主义”转向更精细的“正字法公平性”视角。