PACUTE：菲律宾语词汇形态学的深度诊断基准

背景

大型语言模型（LLMs）在处理文本时，通常将其分解为子词（subword）令牌序列。这种处理方式虽然提高了计算效率，却往往掩盖了构成单词的基础字符级结构和形态学结构。对于大多数语言而言，这种抽象尚可接受，但对于具有**非连缀形态学（non-concatenative morphology）**特征的语言，标准分词器（tokenizers）会导致令牌边界与词素（morpheme）边界发生系统性错位。

菲律宾语（Filipino）正是这样一个极具挑战性的语言。它具有丰富的形态变化特征，包括：

1. 插入法（Infixation）：词缀插入词根内部而非简单拼接。
2. 重叠法（Reduplication）：通过重复部分音节或单词来表达时态、体貌或复数等语法意义。
3. 变音符号驱动的词汇区别：许多细微的语义差异依赖于书写中通常缺失的变音符号。

现有的开源和前沿商业模型在处理这类语言时，其真实理解能力尚不明确。为此，研究者引入了 PACUTE 基准，旨在评估模型对菲律宾语形态结构的理解能力，揭示模型在词素分解、转换和音节划分等任务上的具体瓶颈。

核心内容

1. PACUTE 基准介绍

PACUTE（Phonology-, Affix-, and Character-level Understanding of Tokens for Filipino）是一个专为评估菲律宾语形态学理解能力而设计的诊断基准。该基准包含 4,600 个任务，涵盖了从基础字符识别到复杂形态组合的各个层面。

研究团队构建了一个分层诊断框架，包含六个组合层级（compositional levels）。这一框架的核心目的是定位模型在形态学理解过程中具体在哪一个环节出现断裂或失效。通过这种细粒度的评估，研究者能够区分模型是缺乏基本的字符访问能力，还是缺乏对形态组合规则的理解。

2. 评估对象与方法

研究对两类模型进行了广泛评估：

• 开源权重模型（Open-weight LLMs）：包括不同规模的大型语言模型。
• 前沿商业模型（Frontier commercial models）：目前市场上最先进的闭源模型。

评估指标不仅关注最终的输出正确率，还特别关注模型在**包含匹配（contains-match）**评分下恢复单个词缀的能力，以及在涉及词素转换和音节划分的组合任务中的表现。

3. 主要发现

评估结果揭示了当前大语言模型在菲律宾语处理上的显著局限性：

• 开源模型表现接近随机猜测：无论模型规模大小，开源模型在词素分解任务上的表现均接近随机水平（near chance）。这表明当前的开源架构和训练数据尚未赋予模型处理菲律宾语复杂形态结构的基本能力。
• 前沿模型表现较好但仍存在瓶颈：商业前沿模型在恢复单个词缀方面表现更佳，能够在包含匹配评分下识别出特定的词缀。然而，在涉及**词素转换（morpheme transformations）和音节划分（syllabification）**的组合任务中，它们的得分远低于其字符级能力的上限（character-level ceilings）。
• 瓶颈定位：研究指出，阻碍菲律宾语词汇结构理解的主要瓶颈并非简单的字符访问能力，而是生产性形态组合（productive morphological composition）。也就是说，模型虽然能“看见”字符，但难以动态地组合这些字符以符合菲律宾语的形态规则。

关键要点

• 形态学错位问题：标准子词分词器在处理菲律宾语等非连缀形态语言时，无法准确对齐词素边界，导致模型难以捕捉单词形成的内在结构。
• PACUTE 的设计目的：通过 4,600 个任务和六层诊断框架，精确量化模型在菲律宾语形态理解上的缺陷，而非仅提供一个总体准确率。
• 开源模型的短板：当前开源 LLMs 在词素分解任务上几乎无效，表现等同于随机猜测，且这一缺陷与模型规模无关。
• 前沿模型的能力边界：虽然商业模型能识别单个词缀，但在需要动态组合规则的任务（如词素变换、音节划分）上，其表现远未达到其字符识别能力的上限。
• 核心瓶颈确认：对于菲律宾语而言，主要障碍不是字符层面的访问，而是生产性形态组合能力的缺失。

意义与影响

PACUTE 基准的提出及其评估结果，对自然语言处理领域，特别是低资源语言和复杂形态语言的处理，具有重要的启示意义：

1. 揭示评估盲区：传统的基于 BLEU 或准确率的评估指标可能掩盖模型在形态学理解上的深层缺陷。PACUTE 证明，需要更细粒度的诊断工具来评估模型对语言内部结构的掌握程度。
2. 指导模型架构改进：研究结果明确指出，“生产性形态组合”是当前的主要瓶颈。这提示未来的模型研究可能需要引入显式的形态学模块，或改进分词策略（如支持基于音素或词素的令牌化），以更好地捕捉非连缀形态特征。
3. 促进多语言公平性：大多数大语言模型的研究和训练数据集中在印欧语系等连缀形态语言上。PACUTE 强调了菲律宾语等具有独特形态特征的语言在现有模型中的劣势，呼吁社区关注多语言处理的公平性和全面性。
4. 为低资源语言处理提供基准：对于具有类似形态特征的其他语言（如某些东南亚或原住民语言），PACUTE 的方法论和诊断框架可作为参考，帮助开发者评估和改进模型在这些语言上的表现。

总之，PACUTE 不仅是一个测试工具，更是一个诊断镜，它清晰地表明：要让大语言模型真正“理解”像菲律宾语这样结构复杂的语言，仅靠增加数据量和模型规模是不够的，必须在形态组合机制上进行根本性的突破。