BERTomelo：你的葡萄牙语编码器最佳搭档

背景

在自然语言处理（NLP）领域，编码器（Encoders）已成为多项任务的状态-of-the-art（SOTA）基础，尤其是在需要深层上下文理解的任务中。虽然多语言模型提供了广泛的覆盖范围，但针对特定语言的专用单语编码器对于捕捉该语言独特的词汇和句法细微差别至关重要。

然而，对于葡萄牙语而言，现有的单语选项（如 BERTimbau 和 Albertina）并未跟上近期架构突破的步伐。这些旧模型在可扩展性和效率方面往往落后于英语基准测试，难以满足现代高性能 NLP 应用的需求。这一现状促使研究人员寻求一种更先进、更高效且专为葡萄牙语优化的新一代编码器。

核心内容

本文介绍了 BERTomelo，这是一个从头开始预训练的下一代单语编码器，专门针对葡萄牙语进行了优化。BERTomelo 旨在解决现有葡萄牙语模型在架构和效率上的局限性，其核心创新点如下：

1. 架构革新：ModernBERT

BERTomelo 采用了 ModernBERT 架构。这一选择使其能够克服之前模型的瓶颈，主要得益于以下硬件级优化和机制改进：

• FlashAttention：利用 FlashAttention 技术显著提升了训练和推理的效率。
• 交替注意力机制（Alternating Attention Mechanisms）：通过引入交替注意力机制，进一步增强了模型处理长序列的能力并降低了计算复杂度。

2. 模型规格

BERTomelo 提供了两个主要版本：

• Base 版本
• Large 版本

两个版本均支持 1,024-token 的上下文窗口。这一配置在保持计算效率的同时，为大多数 NLP 任务提供了充足的上下文理解能力。

3. 高质量预训练数据

模型的预训练基于 ClassiCC-PT 语料库。这是一个大规模、高质量的葡萄牙语语料库，包含 1.06 亿份文档。使用如此庞大且经过清洗的数据集，确保了模型与葡萄牙语当代用法的高度对齐，从而提升了模型在真实场景下的表现。

4. 性能表现

实验结果表明，BERTomelo 不仅在各项指标上超越了之前的葡萄牙语编码器（如 BERTimbau 和 Albertina），而且在下游任务中提供了比大规模多语言模型更稳健、更高效的替代方案。具体表现优异的领域包括：

• STS（语义文本相似度，Semantic Textual Similarity）
• NER（命名实体识别，Named Entity Recognition）

关键要点

• 专为葡萄牙语设计：BERTomelo 是首个基于 ModernBERT 架构的专用葡萄牙语编码器，填补了单语模型在最新架构支持上的空白。
• 架构优势：通过集成 FlashAttention 和交替注意力机制，BERTomelo 在保持 1,024-token 上下文窗口的同时，实现了更高的训练和推理效率。
• 数据规模与质量：基于 1.06 亿份文档的 ClassiCC-PT 语料库进行预训练，确保了模型对现代葡萄牙语词汇和语法的精准捕捉。
• 超越旧有模型：在性能上全面超越 BERTimbau 和 Albertina 等现有葡萄牙语单语模型。
• 优于多语言模型：在 STS 和 NER 等特定下游任务中，BERTomelo 的表现优于通用的大规模多语言模型，证明了专用单语模型在特定语言任务中的独特价值。
• 双版本发布：提供 Base 和 Large 两种规格，以适应不同算力资源和性能需求的应用场景。

意义与影响

BERTomelo 的发布标志着葡萄牙语 NLP 生态的一个重要里程碑。长期以来，葡萄牙语作为全球使用人数众多的语言之一，其高质量、高性能的专用预训练模型相对稀缺，研究者往往不得不依赖英语模型或多语言模型，这在处理葡萄牙语特有的语言细微差别时存在局限。

BERTomelo 的出现具有多重意义：

1. 提升技术主权：为葡萄牙语社区提供了一个自主、高效且基于最新架构的基础模型，减少了对过时模型或通用多语言模型的依赖。
2. 推动应用落地：其高效的硬件级优化（FlashAttention）使得在资源受限的环境中部署高性能 NLP 应用成为可能，有助于降低技术门槛。
3. 促进语言多样性：证明了针对特定语言进行深度优化和架构创新的价值，鼓励更多针对其他低资源或中等资源语言的研究投入，推动 NLP 领域的语言多样性发展。

总之，BERTomelo 不仅是一个技术上的进步，更是为葡萄牙语 NLP 应用提供了一个更强大、更经济、更精准的基础设施。