教学中的评估性判断：AI辅助翻译与译后编辑的课堂案例研究

背景

随着大型语言模型（LLM）和在线机器翻译（MT）系统的普及，翻译教育正面临从“技能训练”向“判断力培养”的范式转移。传统的翻译教学往往侧重于语言转换本身，而在 AI 时代，译者需要掌握的核心能力已转变为如何评估不同 AI 系统的输出质量，并决定何时介入进行译后编辑（Post-Editing, PE）。

然而，现有的研究多集中在受控环境下的系统基准测试（Benchmarking），即单纯比较不同系统在特定指标上的得分。这种视角忽略了真实教学场景中学生的认知过程：学生并非被动接受机器评分，而是需要结合语境、术语准确性和人工编辑成本等多维因素做出决策。

本研究基于巴塞罗那自治大学（UAB）翻译学士学位项目第四年的一门“机器翻译与译后编辑”课程，通过 23 份匿名学生项目案例，深入探讨了在结构化对比通用 LLM 与在线 MT 系统的过程中，如何激发和培养学生的“评估性判断”（Evaluative Judgement）。

核心内容

研究设计与方法

• 数据来源：研究选取了 23 份来自 BA 级翻译项目四年级学生的匿名项目作业。
• 任务流程：
  1. 源文本：学生需将简短的专业英语维基百科文章翻译为加泰罗尼亚语或西班牙语。
  2. 系统生成：学生使用四个不同的翻译系统生成输出结果。这些系统包括通用目的的大型语言模型（General-purpose LLMs）和在线机器翻译系统（Online MT systems）。
  3. 多维度评估：学生需对生成的四个输出进行评估，评估手段包括：
     • 自动指标：如 BLEU、COMET 等自动化评分。
     • 人工评估：基于充分性（Adequacy）和流利度（Fluency）的人类主观判断。
  4. 决策与编辑：学生从四个输出中选择一个进行译后编辑。
  5. 理由陈述：学生需在书面报告中解释其选择特定系统输出进行编辑的理由。
• 分析样本：
  • 定量分析：涵盖全部 23 个项目。
  • 定性分析：基于其中 22 份包含完整书面报告的项目进行深入解读。

研究发现：自动指标并非最终权威

研究结果揭示了一个关键现象：学生并未将自动指标视为最终的真理或权威。

1. 选择与排名的背离： 学生最终选定进行译后编辑的系统输出，往往与自动指标给出的排名不一致。也就是说，自动评分最高的系统，并不一定是学生认为最值得投入人工精力去编辑的系统。

2. 人类判断的多维依据： 学生在书面报告中给出的理由表明，他们的决策基于更复杂、更贴近真实工作场景的因素，主要包括：

   • 充分性（Adequacy）：译文是否准确传达了源文本的核心信息和专业含义。
   • 流利度（Fluency）：译文是否符合目标语言（加泰罗尼亚语/西班牙语）的自然表达习惯。
   • 术语一致性（Terminology）：专业术语的使用是否准确、统一。
   • 自然度（Naturalness）：整体行文是否地道，是否存在“翻译腔”。
   • 预期译后编辑工作量（Expected Post-editing Effort）：学生预判哪个系统的输出经过最少的人工修改即可达到出版质量。

案例解读

在定性分析中，研究者观察到学生能够识别出自动指标无法捕捉的细微差别。例如，某些系统在 BLEU 或 COMET 得分上可能略低，但其译文在特定专业领域的术语处理上更为精准，或者其句式结构更易于后续编辑。相反，一些高分输出可能虽然语法正确，但存在细微的语义偏差或风格不自然，导致学生认为其“编辑成本”过高，从而放弃选择。

关键要点

• 评估性判断的核心地位：在 AI 辅助翻译教学中，培养学生的“评估性判断”比单纯训练翻译技巧更为关键。学生需要学会在多个 AI 输出中做出明智选择。
• 人机评估的互补性：自动指标（如 BLEU/COMET）是重要的参考工具，但不能替代人类对充分性、流利度、术语和编辑成本的综合考量。
• 真实情境下的决策逻辑：学生的决策逻辑反映了真实行业中的译后编辑策略——即追求“性价比”最高的编辑路径，而非盲目追求机器评分的最高分。
• 教学干预的有效性：通过结构化对比不同系统（LLM vs. 在线 MT）并要求学生撰写选择理由，能够有效激发学生对翻译质量的深层思考，提升其批判性评估能力。
• 非基准测试的研究视角：本研究并非为了在受控条件下对系统进行基准测试，而是聚焦于分析学生在真实课堂任务中如何为系统选择提供合理化论证。

意义与影响

对翻译教育的启示

1. 课程设计的转型：翻译课程应从“翻译结果导向”转向“决策过程导向”。教师应引导学生关注“为什么选择这个系统”以及“如何评估其输出”，而不仅仅是“翻译得对不对”。
2. 评估标准的多元化：在作业评估中，除了译文的最终质量，还应重视学生对系统选择的论证过程。书面报告中的理由陈述应成为评分的重要组成部分。
3. 培养 AI 素养：学生需要理解不同 AI 系统（如通用 LLM 与专用 MT 引擎）的特性及其适用场景，从而在实际工作中灵活组合使用多种工具。

对行业实践的参考

1. 译后编辑策略优化：研究结果支持了行业中“多系统对比+人工优选”的工作流。译者不应依赖单一系统，而应通过对比不同系统的输出，选择最易于编辑且质量可控的版本。
2. 自动指标的局限性：对于技术供应商而言，该研究提醒我们，自动指标与人类对“编辑友好度”的判断存在偏差。未来的 MT 系统优化可能需要更多地考虑译者的编辑体验和工作流整合。
3. 人机协作的新模式：未来的译者角色更接近于“AI 输出策展人”和“质量把关者”。评估性判断能力将成为区分初级译员与高级译员的关键指标。

研究局限与未来方向

• 样本规模：虽然 23 个案例提供了丰富的定性数据，但样本量较小，且局限于加泰罗尼亚语/西班牙语这一特定语言对。
• 系统类型：研究仅对比了通用 LLM 和在线 MT 系统，未来可进一步纳入微调后的垂直领域模型或混合系统。
• 长期影响：本研究主要关注课堂内的即时判断，尚需长期追踪这些评估性判断能力如何转化为职场中的实际生产力。

总之，这项研究强调了在 AI 时代，翻译教育的核心在于培养学生在复杂、多变的 AI 输出环境中进行独立、批判性评估的能力。这种“评估性判断”不仅是教学的目标，也是未来专业译者在人机协作环境中保持竞争力的关键所在。