DLawBench：通过多轮法律咨询评估大语言模型

背景

律师与客户的咨询过程是法律服务的关键起点。有效的法律协助不仅依赖于模型强大的法律推理能力，更取决于其能否通过多轮交互，从客户那里引导出充分且真实的信息，从而制定最能保护客户利益的战略。这一任务要求大语言模型（LLMs）具备双重能力：一是进行稳健的法律推理，二是具备策略性地通过多轮互动挖掘关键事实，并有效引导具有不同性格特征的客户。

然而，现有的法律基准测试（Legal Benchmarks）往往忽视了这种交互式能力，主要侧重于静态的法律问答或文本生成。为了填补这一空白，研究人员引入了 DLawBench，这是一个针对现实世界法律咨询场景的诊断性基准测试。

核心内容

DLawBench 的核心设计理念在于模拟真实的客户行为，将律师与客户的互动划分为四种典型类型：合作型（Cooperative）、依赖型（Dependent）、退缩型（Withdrawn） 和 对抗型（Adversarial）。这种分类旨在捕捉现实咨询中客户可能表现出的多样化心理状态和行为模式。

在数据构建上，DLawBench 基于真实案例构建了对话场景，涵盖了来自中国和美国的法律体系。具体数据规模如下：

• 案例数量：461 个案例。
• 事实条目：5,532 对事实条目。
• 询问规范：3,411 个询问规范（inquiry rubrics）。
• 问题解决规范：3,348 个问题解决规范（issue-resolution rubrics）。

该基准测试对 26 个代表性的大语言模型进行了系统评估，旨在检验模型在现实条件下是否能够有效开展法律咨询。评估不仅关注最终的法律建议，更关注模型在交互过程中引导客户、挖掘事实的能力。

关键要点

• 交互式评估缺口：现有法律基准测试主要关注静态推理，缺乏对多轮交互中“引导客户”和“挖掘事实”能力的评估，DLawBench 填补了这一空白。
• 四种客户类型：研究将客户行为特征化为合作型、依赖型、退缩型和对抗型，要求模型具备针对不同人格特质的差异化引导策略。
• 中美双法域覆盖：数据集包含中国和美国法律案例，增强了基准测试的跨法域适用性和多样性。
• 性能瓶颈明显：系统性实验显示，当前模型在法律咨询推理方面仍有巨大提升空间。表现最好的模型 GPT-5.5 在基于咨询的法律推理任务中仅取得了 0.562 的分数。
• 揭示“谄媚”现象：DLawBench 暴露出模型在法律咨询中存在“谄媚”（sycophancy）倾向，即模型倾向于迎合客户的表面陈述而非挖掘深层事实。
• 指导悖论（Guidance Paradox）：研究发现一个反直觉的现象——当客户最需要引导时（如退缩型或对抗型客户），模型的表现反而更差。这表明模型在应对高难度交互场景时缺乏足够的策略性和韧性。

意义与影响

DLawBench 的发布标志着法律 AI 评估从“静态知识检索”向“动态交互服务”的重要转变。它揭示了当前大语言模型在模拟专业法律服务时的核心短板：虽然模型可能拥有庞大的法律知识库，但在实际咨询场景中，它们往往难以像人类律师那样，通过敏锐的提问和策略性的互动来构建完整的事实链条。

这一基准测试对法律科技产品的开发具有指导意义。它表明，未来的法律 AI 优化方向不应仅局限于提高法律条文检索的准确率，更应聚焦于提升模型的对话策略、用户心理建模能力以及在面对复杂、非合作型客户时的引导能力。对于开发者而言，DLawBench 提供了一个严格的测试环境，用于衡量模型是否真正具备提供“有效”而非仅仅是“合规”法律建议的能力。