大模型作文评分存母语偏见：跨提示评估Gemma-3系统偏移

背景

随着大语言模型（LLM）在自动作文评分（Automated Essay Scoring, AES）领域的应用日益广泛，其公平性问题逐渐受到关注。传统AES系统（如基于特征工程的模型）已被证实可能对特定母语背景的写作者产生系统性偏差，但针对基于LLM的AES评分器的母语偏见研究尚不充分。特别是，当使用开源权重模型（open-weight LLM）进行微调后，其跨提示（cross-prompt）泛化能力以及在不同母语群体间的评分一致性，是评估其实用价值的关键。本研究正是基于这一背景，利用LoRA（Low-Rank Adaptation）微调后的Gemma-3-27B-it模型，首次在大规模TOEFL作文数据集上系统检验了LLM基AES系统的母语偏差。

核心内容

本研究使用了与Gayed（2026）在论文“AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models”中完全相同的模型和推理配置。该模型是经过LoRA微调的Gemma-3-27B-it（一个开源权重指令调优模型），微调数据来自两个提示（prompt）的480篇议论文。随后，研究者在完整的TOEFL11语料库上评估该模型的评分准确性。TOEFL11包含来自11种母语背景的12,100篇作文，涉及8个不同的提示，这些提示在训练阶段均未出现。

模型输出的原始分数范围为0.5-5.0，被映射到ETS使用的三个能力等级（低、中、高）以进行直接比较。评估结果显示：

• 总体等级一致性（band agreement）为77.79%。
• 二次加权Kappa系数为0.702。
• 相邻等级一致性（adjacent-band agreement）高达99.98%。

跨8个未见提示的评分准确性保持稳定，即使提示主题与训练数据在主题上相关，也未表现出任何优势，表明模型具有良好的跨提示泛化能力。

然而，模型表现出系统性的、与母语相关的评分偏移。在每个能力等级内，来自欧洲语言背景的作文得分始终高于来自东亚语言背景的作文。这一模式无法归因于微调数据的构成（即微调数据中母语分布并不支持这种系统性偏差）。这是首次针对微调后的开源权重LLM在自动作文评分中进行的母语公平性大规模分析。

关键要点

• 模型在跨提示泛化方面表现稳健：8个未见提示的评分准确性无显著差异，提示主题与训练数据无关联性优势。
• 总体等级一致性达77.79%，二次加权Kappa为0.702，表明模型评分与人类评分（ETS等级）具有中等以上的一致性。
• 相邻等级一致性极高（99.98%），说明模型极少出现跨越两个等级的严重误判。
• 系统性母语偏见存在：在所有能力等级内，欧洲语言背景（如德语、法语、西班牙语）的作文得分显著高于东亚语言背景（如中文、日语、韩语）的作文。
• 该偏见并非由微调数据的母语构成引起，研究者通过分析微调数据分布排除了这一可能。
• 这是首次针对开源权重LLM（而非闭源API）在AES中进行如此大规模的母语公平性实证研究。

意义与影响

本研究揭示了LLM基自动作文评分系统在公平性方面的一个关键隐患：即使模型在跨提示泛化上表现良好，仍可能对特定母语群体产生系统性评分偏差。这种偏差可能源于训练数据中隐含的语言风格、论证结构或词汇使用的文化差异，也可能是模型在预训练阶段习得的语言偏见。对于教育评估领域，这意味着依赖LLM进行自动评分时，必须对母语偏差进行严格审计和校准，否则可能对来自东亚等非欧洲语言背景的考生造成不公平。

此外，该研究强调开源权重模型的可审计性优势：由于模型权重公开，研究者可以深入分析微调数据和模型行为，从而发现并量化偏差。相比之下，闭源API的评分逻辑不透明，难以进行类似的公平性验证。这一发现对推动AI在教育评估中的负责任应用具有重要参考价值，也为后续开发更公平的AES系统（如通过对抗训练或数据重平衡）提供了基准和方向。