新模型，优势依旧

背景

三个月前，Hugging Face团队发表了关于DharmaOCR的论文并开源了其中一个模型。该模型的目标非常具体：为巴西葡萄牙语设计的光学字符识别（OCR）系统。当时，多模态生成模型在OCR领域迅速普及，许多基于语言模型的OCR系统被广泛使用，但普遍存在两个问题：一是复杂文档上的提取质量不足，二是生产环境下的模型稳定性不佳。DharmaOCR正是针对这些问题而设计的。

如今，更先进的OCR模型——Mistral OCR4和Unlimited-OCR——已经发布，它们采用了新的训练技术、更大的数据集，并在多语言基准上取得了优异成绩。然而，这些新模型并未消除DharmaOCR原本针对的短板，反而通过对比凸显了领域专精策略的持续有效性。

核心内容

DharmaOCR的训练流程分为两个阶段。

第一阶段是监督微调（Supervised Fine-Tuning）。团队收集了来自不同来源、格式和复杂度水平的葡萄牙语文件，对模型进行微调。这一步将模型权重对齐到巴西葡萄牙语特有的词汇、句法和文档结构上，使模型的表现能力集中在该语言上，而不是分散到更广泛的多语言空间中。

第二阶段是直接偏好优化（Direct Preference Optimization, DPO）。模型不仅学习正确的转录结果，还从竞争性输出之间的偏好数据中学习，从而在推理时始终选择更好的提取结果。这一步解决的不是准确率问题，而是稳定性问题。通过抑制生成模型常见的重复或混乱输出模式，DPO降低了推理时间和成本，并在生产环境中显著提升了输出的可靠性。

两个阶段结合，使得DharmaOCR在专门针对葡萄牙语的基准测试中获得了最高的提取质量分数和最低的退化率（degeneration rate）。微调阶段建立了领域能力，DPO阶段确保这种能力在模型容易失效的条件下保持稳定。

随后，研究团队将DharmaOCR与Mistral OCR4和Unlimited-OCR进行了对比测试。基准测试完全围绕葡萄牙语设计。结果如下：

• DharmaOCR: 0.925
• Mistral OCR4: 0.798
• Unlimited-OCR: 0.7587

Mistral OCR4比DharmaOCR低约13个百分点，Unlimited-OCR低超过16个百分点。两者都比DharmaOCR发布更晚，且背后有大量研究资源支持。这个差距是显著且具有统计意义的。

为了展示差距的具体表现，研究团队使用了巴西国家高中考试（ENEM）的作文手写稿进行测试。这些文档结合了手写文字与巴西葡萄牙语特有的词汇、专有名词和文化引用，正是语言专用训练最能体现优势的场景。

例如，Mistral OCR4将巴西最著名的音乐家和诗人之一Chico Buarque的名字转录为"Chico Barque"；Unlimited-OCR将其转录为"chico bique"。面对同一份文档中的引文"O Brasil não exclui, assimila"（“巴西不排斥，它吸收”），Unlimited-OCR返回了"a dose de chico bique, 'o Brasil no exclu, eliminila"——几乎无法辨认。而DharmaOCR正确识别了这些内容。

这些错误并非随机。一个对巴西葡萄牙语接触不足的模型不会随意失败，而是在那些将巴西葡萄牙语与更广泛多语言语料区分开来的词汇和专有名词上准确失败。Chico Buarque并非冷门参考，而是全国公认的名字。其系统性错误是诊断性的：它证明了模型训练没有覆盖到该领域。

DharmaOCR正确处理了这些案例。原因直接：其训练集中在巴西葡萄牙语的语言空间，将所有参数资源导向这一领域的词汇和专有名词分布，而不是分散到多种语言上。

提取准确率只是生产性能的一个维度。在面对视觉困难文档（小字体、扫描质量差、密集手写）时的稳定性是另一个维度，而且操作上更为关键。当生成模型遇到无法清晰解析的文档时，它面临一个无终止的推理任务——可能陷入重复、幻觉或完全崩溃。这正是DPO阶段所解决的问题：通过偏好学习让模型在不确定性中选择更稳定的输出路径，从而在实际生产中获得更可靠的性能。

领域专精的优势并非来自更大的架构或更复杂的训练流程，而是来自资源分配的方向：将模型的所有参数集中于一个特定领域，而不是分散到多个领域。这一结构性的设计选择，使得DharmaOCR在面对多语言通用模型时拥有内在优势——无论这些模型有多新、多强大。

关键要点

• DharmaOCR专为巴西葡萄牙语设计，训练分为监督微调和直接偏好优化两个阶段，前者建立语言能力，后者确保推理稳定性。
• 监督微调阶段将所有参数集中在巴西葡萄牙语的词汇、句法和文档结构上，而不是分散到多语言空间。
• DPO阶段通过偏好数据训练模型在竞争输出中始终选择更好的结果，有效抑制重复和混乱，降低推理成本并提高生产可靠性。
• 在专门针对葡萄牙语的基准测试中，DharmaOCR得分为0.925，显著领先于Mistral OCR4（0.798）和Unlimited-OCR（0.7587）。
• 实际测试中，多语言模型在巴西葡萄牙语专有名词（如Chico Buarque）上出现系统性错误，而DharmaOCR正确识别，证明领域专精带来的识别质量优势。
• 领域专精的优势是结构性的：模型参数有限，集中用于单一领域就能获得更高表现，而多语言模型必须将参数分散，因此每个特定语言的能力被稀释。
• 即使面对更新、更复杂的模型，这种优势仍然存在并可测量——新架构和新训练方法提升的是所有模型的上限，但资源分配方向决定了哪些领域受益最大。

意义与影响

DharmaOCR的成功表明，在特定语言或特定领域的OCR任务中，领域专精策略可以持续超越更大、更新的通用多语言模型。这一结论不仅适用于OCR领域，也适用于更广泛的AI模型设计：当资源有限时，集中力量解决特定问题比追求面面俱到更有效。

对于葡萄牙语处理相关应用（如文档数字化、教育系统批改、文化遗产保护等），DharmaOCR提供了即插即用的高性能方案，而无需依赖多语言模型可能带来的高错误率。对于模型开发社区，该工作展示了微调+偏好优化两阶段训练在提升生成模型稳定性和准确性上的实用性。

更重要的是，它提醒我们：在AI快速发展的今天，盲目追求更大模型、更多语言覆盖未必是唯一路径。对特定任务或语言进行深度优化的专门模型，仍然有不可替代的价值，尤其是在资源分布不均的低资源语言场景中。

DharmaOCR的开源也降低了巴西葡萄牙语OCR的准入门槛，使得更多研究者和开发者可以在此基础上进一步优化，或将其扩展到其他葡萄牙语方言（如欧洲葡萄牙语）。这一方向可能催生更多语言特定OCR模型的诞生，推动OCR技术向更高精度和更强鲁棒性演进。