CoPiT以认知枢轴翻译大幅提升低资源传统蒙古文性能
速览
CoPiT是一种认知驱动的枢轴翻译管道,通过将传统蒙古文先翻译到资源较丰富的西里尔蒙古文再译至目标语言,有效化解书写歧义。在多个骨干模型上,CoPiT稳定超越直接翻译,BLEU和COMET指标大幅提升,甚至让开源模型在同等评测下媲美GPT-4.1。该方法还能直接从传统蒙古文文本构建合成平行数据,缓解数据稀缺问题,并发布了涵盖蒙古文双文字及英、韩、俄的多脚本平行数据集。
AI 深度解读
背景
低资源语言的机器翻译一直是自然语言处理领域的难题,蒙古语(Mongolian)是一个典型代表。作为一种双文字(digraphic)语言,蒙古语同时使用西里尔蒙古文(Cyrillic script)和传统蒙古文(Traditional script)书写。这两种文字在数据可用性上存在严重失衡:西里尔蒙古文相对资源丰富,拥有较多的平行语料和标注数据;而传统蒙古文则极度数据稀缺,且字形本身存在大量正字法歧义。例如,传统蒙古文中同一个字符可能对应多个读音或含义,而西里尔蒙古文则明确区分了这些差异。这种文字层面的歧义直接导致传统蒙古文到目标语言的机器翻译性能大幅下降。以往的直接翻译方法因缺乏对文字歧义的显式处理,难以在低资源场景下取得令人满意的结果。
核心内容
针对上述问题,作者提出了 CoPiT(Cognitive Pivot Translation,认知中枢翻译)——一种受认知机制启发的中枢翻译流水线。该方法利用蒙古语内部文字资源的不平衡性,将翻译路由(routing)到相对资源丰富的西里尔蒙古文作为中间枢纽(pivot),从而间接实现传统蒙古文到目标语言的翻译。
CoPiT 的核心流程分为两个阶段:
-
歧义消解阶段:在将传统蒙古文文本输入翻译模型之前,先显式地解决传统蒙古文中的正字法歧义。这一步骤通过一个专门的歧义消解模块完成,将模糊的传统蒙古文字符序列映射为明确、无歧义的西里尔蒙古文表示。例如,传统蒙古文中一个写法可能对应西里尔蒙古文中的多个不同词汇,歧义消解模块根据上下文将其锁定为最可能的西里尔形式。
-
中枢翻译阶段:将得到的西里尔蒙古文文本作为中间语言,再通过机器翻译模型将其翻译为目标语言(如英语、韩语、俄语等)。由于西里尔蒙古文资源相对丰富,翻译模型在这个阶段能够更稳定、更准确地获取语义。
实验在多个骨干模型(backbone models)和多种目标语言上进行。评价指标采用 BLEU 和 COMET。结果显示:CoPiT 在所有设置下均一致优于直接传统蒙古文到目标语言的翻译方法,BLEU 分数有大幅绝对提升,同时 COMET 分数稳定达到 1.5–1.6 倍。值得注意的是,CoPiT 使得强大的开源模型在可比评估设置下能够匹配甚至超越 GPT-4.1 的性能。
此外,CoPiT 还具备数据增强能力:通过该流水线,可以直接从传统蒙古文文本构造合成平行数据(synthetic parallel data),即利用歧义消解和中枢翻译自动生成传统蒙古文与目标语言的句子对。这进一步缓解了真实低资源场景下的数据稀缺问题。
作者还发布了一个新的多文字平行数据集(multi-script parallel dataset),涵盖蒙古语的两种文字(西里尔、传统)以及英语、韩语、俄语。所有数据集和代码均已公开。
关键要点
- 问题聚焦:传统蒙古文因正字法歧义和数据极度稀缺,直接机器翻译效果差;而西里尔蒙古文资源相对丰富,形成内部文字资源层级。
- 方法核心:CoPiT 是一种认知驱动的中枢翻译流水线,先显式消解传统蒙古文的歧义,再通过西里尔蒙古文作为枢纽进行翻译。
- 性能优势:在多个骨干模型和目标语言上,CoPiT 在 BLEU 和 COMET 上持续显著优于直接翻译;COMET 成绩提升 1.5–1.6 倍,开源模型可匹敌 GPT-4.1。
- 数据贡献:CoPiT 可自动生成传统蒙古文的合成平行数据,缓解数据稀缺问题;并发布了包含蒙古语双文字及英、韩、俄的多文字平行数据集。
- 代码与数据公开:项目所有代码、数据集已开源,链接见论文。
意义与影响
CoPiT 的核心价值在于提出了一个简单但高度有效的认知启发方法,专门应对双文字低资源语言的翻译困境。它不需要额外的外部资源,仅利用语言内部的文字层级关系,就显著提升了传统蒙古文的翻译质量。这一思路对其它具有类似双文字或方言-标准语层级结构语言(如藏语的不同书写系统、某些使用阿拉伯字母和拉丁字母的语言)具有直接的可迁移性。
从技术趋势看,CoPiT 证明了在低资源场景下,深度利用语言内部已知的不均衡结构,可以超越单纯增加模型参数量或使用大型通用预训练模型(如 GPT-4.1)的效果。它启发研究者重新审视语言本身的特性,而非仅依赖模型扩展。
此外,CoPiT 的数据增强能力为低资源语言的平行语料构建提供了低成本方案,有助于推动少数民族语言或历史文字的语言技术发展。其发布的多文字平行数据集将成为相关研究的宝贵基准。整体上,这项研究为低资源机器翻译领域指明了一条可行且有效的路径:结合认知机制与语言内部资源策略,而非盲目追求通用大模型。
