When Rubrics Change: Cross-Rubric Generalization for Critical Thinking Essay Scoring

背景

传统自动作文评分（Automated Essay Scoring, AES）研究主要围绕跨提示泛化展开，即模型能够对从未见过的作文题目进行评分，而评分标准（rubrics）通常保持不变。然而在实际教育场景中，教师会根据教学需求修改甚至引入全新的评分标准，例如从“论证结构”转向“证据使用”或“反驳能力”等不同维度。现有AES模型在面对这种评分标准变化时往往表现不佳，因为模型通常将评分标准与作文内容捆绑学习。本文首次系统性地研究跨评分标准泛化（Cross-Rubric Generalization）问题，即：在一套评分标准下训练的模型，能否对另一套从未见过的标准下的作文进行准确评分？

核心内容

研究采用基于大型语言模型（LLM）的微调框架，包含两个核心组件：

1. 评分标准无关的中间表示（traits）：模型在学习过程中先提取一组与具体评分标准无关的“特质”（traits），例如论证清晰度、证据支持力度、逻辑连贯性等。这些traits作为中间层表征，将作文内容转化为标准中立的特征向量，使得后续分类头可以适应不同的评分标准。
2. 目标作文监督（target-essay supervision）：在训练阶段，除了使用已见标准的标签外，还尽可能提供已见标准下对目标作文的监督信号。例如，如果目标作文出现在训练集但仅用旧标准标注，模型依然可以利用这些信息。

实验基于一个包含多套评分标准标签的批判性思维作文数据集。研究者设计了最困难的设置：训练时既未见过目标评分标准，也未见过目标作文（即全部零样本）。在该设置下，引入traits的模型相比无traits的基线在macro F1上提升了5.0%。

此外，研究测试了不同规模的目标作文监督：当训练集包含越多的目标作文（即使其标注来自其他标准），模型在跨标准上的性能越好。最终，最佳微调的开源Llama模型在跨标准测试中的macro F1比GPT-5-mini提示（prompting）高出2.1%，仅比GPT-5完整模型低1.9%，表明开源模型通过专用微调可以接近甚至超越通用闭源模型在专业任务上的表现。

关键要点

• 新问题定义：首次系统提出“跨评分标准泛化”概念，区别于传统的跨提示泛化，更贴合教育实践。
• 两阶段框架：引入评分标准无关的中间表示（traits）作为桥接层，使模型学会剥离标准-内容耦合，提升对新标准的适应能力。
• 监督信号的重要性：增加目标作文的监督（即使其评分来自其他标准）也能显著提升性能，说明模型可从标准间的隐式关联中学习。
• 开源模型竞争力：通过合适的中介结构和微调，开源Llama模型可在该任务上超越GPT-5-mini提示，且接近GPT-5全模型，验证了专业化路径的性价比。
• 宏观效果：最难零样本设置下macro F1提升5%，验证了traits设计的有效性。

意义与影响

本工作对AES领域及实际教育评估具有以下意义：

• 推动AES走向动态评估：传统AES假设评分标准固定，而实际中标准常随教学调整。本文的跨标准泛化研究使AES更符合真实教育场景，为自适应评估系统奠定基础。
• 提供可迁移的解决方法：traits思路不仅限于评分，可推广到其他需要处理动态标签的任务，例如多任务学习或领域自适应中的中间表征设计。
• 降低标准维护成本：教育机构无需为每个新标准重新训练模型，只需在新标准下标注少量样本或甚至无需标注，即可复用已有模型，大幅降低人力和时间成本。
• 突出开源模型的实用潜力：结果提示，通过针对性微调，开源模型可以在细分任务上接近甚至超越商用大模型（如GPT-5），这对资源受限的研究机构或学校尤其有价值。
• 引发对评分伦理的思考：当标准变化时，模型泛化的可靠性需要谨慎验证，避免因标准差异导致评分偏差。本文的框架提供了一种可控的解决方案，但未来仍需针对不同学科和标准类型进行更广泛测试。