越南三地多语语料库CKTN发布

背景

越南是一个多民族国家，拥有数十种少数民族语言，但在自然语言处理（NLP）领域，这些语言几乎完全被忽视。其中，占语（Cham）、高棉语（Khmer）和岱依-侬语（Tay-Nung）不仅面临数据稀缺的问题，更存在深层结构性挑战：这三种语言的书写系统差异巨大，与越南语的接触程度不同，且标准化程度参差不齐。在这种条件下，标准的跨语言迁移学习方法容易学到错误的信号——例如，模型可能仅仅因为书写系统不同而把同一语义的文本视为不同语言，或者因词汇重叠而误判语义相关性。现有工作极少关注这些语言，而本文首次系统性地构建了面向它们的语料库和基准测试。

核心内容

本文提出 CKTN（Cham, Khmer, Tay-Nung 的首字母组合），这是首个针对这三种语言的综合语料库和基准测试。CKTN 包含 44,367 篇文档，共计 2,400 万子词（subword）标记，覆盖三个任务：持续预训练（continued pretraining）、类别分类（category classification）和摘要-文档检索（summary-document retrieval）。研究团队发现，现有多语言编码器（如 mBERT、XLM-R 等）在处理这些语言时存在严重的碎片化（fragmentation）问题——即模型将同一语言的不同书写变体或相似语义的文本错误地分割到不同表征空间。更关键的是，常用的适应指标（如语言建模损失、词汇重叠度）会带来误导：模型可能降低语言建模损失，或在词汇重叠类检索任务上表现优异，但依然无法在文档间实现语义泛化。

为解决这一问题，作者提出了一种脚本感知的适应方法（script-aware adaptation recipe）：具体包括两个步骤——（1）词汇扩充（vocabulary augmentation），即为每种语言添加其特有书写系统的字符/子词单元；（2）校准替换词预训练（calibrated replaced-token pretraining），通过调整判别器使其无法利用简单的书写系统不匹配（如占文与高棉文字形差异）来区分真假 token。这种方法显著降低了编码器内部的碎片化程度，并在所有评估模型中取得了最强的分类性能。同时，实验结果也揭示了以词汇重叠检索作为评测信号的局限性：即使检索得分高，也不代表模型真正理解了语义。

关键要点

• 首次构建语料库：CKTN 是第一个同时覆盖占语、高棉语和岱依-侬语的公开语料库和基准测试，包含 44,367 篇文档、2,400 万子词标记。
• 三大任务：持续预训练（语言建模）、类别分类（多标签分类）、摘要-文档检索（检索与摘要匹配的文档）。
• 现有模型严重碎片化：现有多语言编码器因书写系统差异而将语义相近的文本表征到不同区域，导致迁移学习效果差。
• 常见指标具有误导性：语言建模损失降低或词汇重叠检索高分 ≠ 语义理解能力提升；模型可能“记住”表面特征而非学习语义。
• 脚本感知适应方法：词汇扩充 + 校准替换词预训练，防止判别器通过书写系统不匹配作弊，从而减少碎片化。
• 实验结果：该方法在分类任务上超越所有对比模型，且碎片化程度明显降低；同时暴露了词汇重叠检索作为评估指标的局限性。

意义与影响

该研究填补了越南少数民族语言 NLP 的空白，具有重要的学术与社会价值。从学术上看，CKTN 为多语言表征学习提供了一个新的挑战场景：当语言之间书写系统差异极大、且标准化程度不一时，传统跨语言方法可能完全失效。本文提出的脚本感知适应方法不仅适用于这三种语言，也为其他低资源、多书写系统的语言（如非洲、东南亚地区的语言）提供了可借鉴的范式。此外，文中对评估指标的反思——即词汇重叠检索不能替代语义泛化测试——对整个 NLP 领域都有警醒意义。从社会层面看，这项工作有助于保护和传承少数民族语言，推动数字包容性，使这些语言的使用者能够受益于现代 NLP 技术（如信息检索、文本分类等）。未来，该语料库和基准可扩展至更多任务（如机器翻译、命名实体识别），并促进更大规模的跨语言研究。