模块化单语适应：利用预训练语言模型优化低资源语言适配

背景

构建针对低资源语言（Low-Resource Languages）的单语语言模型（Monolingual Language Models, LMs）一直是自然语言处理（NLP）领域的一大挑战。目前，主流的做法通常依赖于对预训练语言模型（Pretrained Language Models, PLMs）进行全量微调（Full Fine-tuning），即在目标语言的数据集上重新训练整个模型参数。这种方法之所以被广泛采用，是因为它能够有效地将预训练阶段学到的通用语言知识迁移到特定语言中，其效果通常优于从零开始训练（Training from Scratch）。

此外，先前的研究指出，使用针对特定语言优化的分词器（Tokenizer）可以显著提升模型对该语言的适应能力。然而，尽管全量微调是标准范式，但它计算成本高昂，且在数据量极少的情况下，往往存在过拟合风险或参数冗余。

核心内容

本文提出了一种假设：在全量微调过程中，并非所有参数都需要更新。作者提出了一种更模块化的适应方法，旨在通过更精细的控制来提升低资源语言模型的适配效率。

具体而言，该研究提出的方法包含以下关键步骤：

1. 替换分词器：使用针对目标语言优化的特定分词器替换原有的分词器。
2. 冻结嵌入层：将新分词器对应的词嵌入（Embeddings）层参数冻结，不进行梯度更新。
3. 微调其余部分：仅对模型中除嵌入层以外的其他参数进行微调。

为了验证这一方法的有效性，研究人员选择了三种语言进行实验：苏格兰盖尔语（Scottish Gaelic）、爱尔兰语（Irish）和克丘亚语（Quechua）。其中，克丘亚语被特别标记为“极低资源语言”，其训练数据仅包含 8,500 个实例。

在实验评估中，研究涵盖了自然语言理解（NLU）的三项核心任务：

• 掩码填充（Mask Filling）
• 命名实体识别（NER）
• 词性标注（POS Tagging）

实验结果表明，在将模型适配到低资源语言时，这种“替换分词器 + 冻结嵌入 + 微调其余部分”的模块化方法能够提升模型性能。此外，文章还深入分析了不同训练策略的有效性、预训练嵌入的选择以及不同模型架构对最终结果的影响。

关键要点

• 挑战全量微调范式：传统上，为低资源语言构建单语模型通常需要对整个预训练模型进行微调。本文挑战了这一惯例，指出全量微调往往是不必要的。
• 模块化适应策略：提出的核心方法是将模型适配过程模块化。具体操作是引入语言特定的分词器，但冻结与之关联的嵌入层权重，仅对模型的其他部分进行参数更新。
• 极低资源场景验证：实验不仅涵盖了苏格兰盖尔语和爱尔兰语，还特别针对数据极度匮乏的克丘亚语（仅 8.5k 训练样本）进行了测试，证明了该方法在极端数据限制下的有效性。
• 性能提升：在掩码填充、NER 和 POS 等 NLU 任务上，该方法相较于传统适配方式表现出更好的性能。
• 多维度分析：研究不仅提供了方法，还全面分析了训练策略、预训练嵌入选择以及模型架构对适配效果的具体影响，为后续研究提供了详细的参考依据。

意义与影响

这项研究对于低资源语言的自然语言处理具有重要的实践意义。首先，它提供了一种计算效率更高、更稳健的模型适配路径。通过冻结嵌入层，可以减少需要更新的参数数量，从而降低过拟合风险，这对于只有少量训练数据（如克丘亚语）的场景尤为关键。

其次，该研究强调了分词器在语言适配中的核心作用，同时指出了嵌入层在迁移学习中的特殊性。传统的“端到端”微调可能忽略了嵌入层在预训练阶段已经学到的良好初始化状态，而本文的方法通过保留这一状态，实现了更有效的知识迁移。

最后，随着全球对语言多样性和少数族裔语言保护的重视，能够以较低成本高效构建高质量单语语言模型的技术显得尤为重要。这项工作为苏格兰盖尔语、爱尔兰语、克丘亚语等低资源语言的技术赋能提供了可行的技术路线，有助于缩小这些语言在数字时代的技术鸿沟。