AI 在斯坦福法学院研究中击败法学教授：重新定义法律教育的辅助角色

背景

长期以来，关于生成式人工智能（AI）能否胜任需要高度判断力、细微推理和模糊性导航能力的专业领域工作，学术界和业界一直存在争议。传统的 AI 评估往往集中在拥有明确“对错”答案的学科上，而法学作为一门依赖论证、解释和复杂情境分析的学科，其评估标准一直较为模糊。

斯坦福法学院（Stanford Law School）Julian Nyarko 教授领导的一项突破性研究，首次通过严格的盲测实验，直接对比了 AI 生成的答案与人类法学教授撰写的答案。这项题为《Law Professors Prefer AI Over Peer Answers》（法学教授更偏好 AI 而非同行答案）的研究，由来自耶鲁大学、纽约大学（NYU）、芝加哥大学等顶尖机构的学者共同完成，旨在探索大型语言模型（LLM）是否能作为合同法课程中有效的辅导工具，并评估其在法律教育中的潜在角色。

核心内容

这项研究的核心在于通过大规模的双盲实验，验证 AI 在法律推理和教学辅助方面的实际表现。研究团队设计了严谨的实验流程，以确保结果的客观性和有效性。

实验设计与过程 研究邀请了美国多所法学院的 16 位法学教授参与。参与者首先共同创建了 40 个具有代表性的合同法问题，这些问题模拟了学生在课后或办公时间可能提出的疑问。随后，每位教授不仅回答自己提出的问题，还回答其他教授提出的问题。与此同时，AI 系统也针对这些问题生成了相应的回答。

为了消除偏见，研究团队对近 3,000 组匿名回答进行了盲测评估。教授们在不知道答案来源（是来自 AI 还是其他人类教授）的情况下，对回答的质量、教学价值和潜在误导性进行评分。此外，研究团队还采取了多项措施确保实验的严谨性，包括校准 AI 回答的长度和结构与人类答案保持一致，以及使用多种评估方法。

主要发现：AI 胜出 实验结果令人惊讶。在直接的对决中，法学教授们有 75% 的概率更倾向于选择 AI 生成的答案，而不是其他人类教授撰写的答案。

更引人注目的是关于“教学危害性”的评估。教授们认为 AI 回答具有教学危害性（即可能误导或混淆学生）的比例仅为 3.5%，而认为人类同行回答具有危害性的比例则高达 12%。这表明，在同行评审的视角下，AI 生成的答案不仅质量更高，而且在避免误导学生方面表现得更可靠。

模型表现差异 研究还测试了具体的 AI 模型，包括商业辅导系统和 Google 的 NotebookLM。虽然不同模型的表现存在差异，且在某些情况下受限于上下文窗口，但总体而言，即使存在这些局限，教授们仍然经常偏好 AI 的回答胜过人类撰写的替代方案。AI 系统的表现可与研究中最优秀的人类导师相媲美。

研究动机与深度 Julian Nyarko 指出，选择法学作为研究对象是因为它不仅仅要求事实回忆，更要求判断力和细微的推理能力。“我们 frankly（坦率地）对结果的幅度感到惊讶。这些问题并非简单的有显而易见答案的问题，许多问题要求综合复杂材料，将其应用于新情境，并以有助于学生发展自身分析技能的方式解释法律概念。”

耶鲁法学院教授 Sarath Sanga 补充道：“在大多数测试 AI 的领域中，都有一个正确答案。但在法律领域，往往没有。两个对立的论点可能都是好的。我们想知道的是，AI 是否能达到律师用来评估彼此论点的隐性专业标准。在这种情况下，答案是肯定的。”

关键要点

• 压倒性的偏好：在针对 16 位法学教授的近 3,000 次盲测对比中，教授们有 75% 的次数更偏好 AI 生成的答案，而非其他人类教授的答案。
• 更低的误导风险：教授们认为 AI 回答具有教学危害性的比例（3.5%）远低于人类同行回答（12%），显示 AI 在保持教学准确性方面表现优异。
• 超越简单问答：测试的问题并非简单的知识检索，而是涉及合同法中复杂的推理、论证综合及情境应用，证明了 AI 在处理高阶法律思维任务上的能力。
• 符合隐性专业标准：AI 生成的答案达到了法律专业人士内部评估论点时所使用的高标准，能够提出具有辩护性的结论和 nuanced（细微差别）的推理。
• 模型表现稳健：尽管不同商业模型和 Google NotebookLM 等工具表现各异，但即便在上下文受限的情况下，AI 回答仍常被教授们视为优于人类回答。
• 并非主张全面替代：研究作者强调，虽然数据表明 AI 可以提供高质量的支持，但这并不意味着要全面采用 AI 导师。重点在于如何负责任地部署这些工具以增强学生学习，而非盲目排斥或全盘接受。

意义与影响

这项研究对法律教育和 AI 应用具有深远的启示意义。

重塑法律教育模式 研究结果表明，AI 可以作为课堂指令的有力补充，提供高质量、按需的支持，从而扩大专家指导的可及性。对于法律教育而言，这意味着未来的教学模式可能从单纯的“教师讲授”转向“教师引导 + AI 辅助深度互动”的混合模式。AI 能够处理大量的基础推理和案例模拟，让教授将更多精力集中在高阶伦理讨论和个性化指导上。

打破对 AI 的刻板印象 此前，公众和学术界对 AI 的怀疑主要集中在其“幻觉”和缺乏真正理解能力上。然而，在需要处理模糊性和复杂论证的法学领域，AI 的表现甚至优于人类同行。这挑战了“AI 仅适用于有标准答案领域”的传统假设，证明了其在需要判断力的专业领域也具有巨大潜力。

谨慎乐观的实施路径 尽管结果积极，但研究者并未呼吁立即全面推广。Nyarko 警告说，如何最有效地实施这些工具以改善学生学习效果仍然是一个开放性问题。法律界目前正面临整合 AI 工具与维护严格学术标准之间的平衡难题，包括对幻觉、过度依赖以及批判性思维技能退化的担忧。

因此，未来的讨论焦点应从“AI 能否给出准确、高质量的回答”转向“我们如何负责任地部署 AI 以造福学生”。这项研究为法律院校提供了实证依据，鼓励它们在保持严谨性的同时，积极探索 AI 作为教学辅助工具的潜力，而非因噎废食。

关于 liftlab 本研究由斯坦福法学院的 Legal Innovation through Frontier Technology Lab (liftlab) 主导。liftlab 是法律 AI 领域首批将研究、原型开发和与行业实时协作相结合的学术机构之一，其使命是通过利用 AI 和其他前沿技术，提高私营部门高质量法律服务可及性，弥合理论与实践之间的差距。