Socratic式辅导比提示词精炼更利学生独立用LLM编程

背景

大型语言模型（LLM）在学习中可以提供个性化支持，但多项研究对其在教育中的使用提出了担忧。关键在于，学生的学习效果取决于他们如何与LLM互动。既往研究发现，学生可能倾向于直接要求答案，而非主动思考，这削弱了LLM作为学习工具的潜力。为了引导学生在编程学习中有效利用LLM，研究者提出了两种不同的支架（scaffolding）策略：一种通过苏格拉底式对话引导反思，另一种则专注于优化提示词本身。这两种方法分别被实现为两种基于LLM的导师（tutor）——Socratic-Guidance (SG) 导师和 Prompt-Refinement (PR) 导师，以探究它们对学生提示实践、学习成果以及后续独立使用LLM能力的不同影响。

核心内容

本研究在研究生级别的移动机器人课程中开展了两阶段实验。第一阶段为为期6周的干预：66名学生被随机分配，分别使用SG导师或PR导师完成编程任务。SG导师通过对话式提问来组织交互，引导学生逐步思考问题，而不是直接给出答案；PR导师则帮助学生优化提示词的有效性，教他们如何写出更精准的指令给LLM。第二阶段为为期3周的课程项目：52名学生（来自先前两组）在无约束条件下自由使用LLM（即不再使用特定导师），以评估两种导师训练所产生的长期效果。

结果显示：在受指导阶段，SG组和PR组在任务表现和提示模式上没有显著差异，即两种导师都能帮助学生完成编程任务。然而，学习成果和后期的LLM使用模式却出现了显著分化。具体而言：

• 学习收益：在后期（无约束使用阶段）的评估中，SG学生的表现优于PR学生，表明SG导师更有助于学生将LLM使用能力内化，并迁移到独立场景中。
• 提示策略：当面对无约束LLM时，SG学生更倾向于采用“理解驱动”的提示策略（understanding-driven prompting strategies），即他们更关注问题背后的原理而非仅仅获取答案。这种策略已被证实能更好地预测学生的理解水平。
• 感知效率：尽管SG导师在交互过程中被认为效率较低（学生可能觉得对话更耗时、更绕弯子），但正是这种看似低效的苏格拉底式引导，反而培养了学生长期独立使用LLM的能力。

值得注意的是，PR导师虽然教学生如何写好提示词，但学生可能过度依赖“提示工程”技巧，而忽略了深层理解；SG导师则通过持续提问促使学生自己进行推理，从而在无导师监督时依然能主动反思。

关键要点

• 两种导师（SG与PR）在受指导阶段的任务表现和提示模式上相似，但长期效果截然不同。
• SG（苏格拉底式引导）组学生在后续无约束使用LLM时获得了更高的学习收益，而PR（提示词优化）组学生在独立场景中表现较弱。
• SG学生更可能采用“理解驱动”的提示策略，即关注问题背后的原理；这种策略与更深的理解正相关。
• PR导师教会学生如何编写有效提示，但可能使学生陷入“提示优化”而忽视概念学习。
• 学生感知：SG导师被认为效率较低（更费时），但恰恰是这种“低效”对话促进了深层认知加工。
• 研究强调，LLM导师的设计应超越即时代码完成效率，关注学生长期独立学习能力的培养。

意义与影响

本研究为教育AI领域中LLM导师的设计提供了关键实证证据。它表明，仅仅教导学生如何“更好地提问”（提示词优化）并不能保证真正的学习迁移；相反，通过苏格拉底式提问强制学生进行反思性对话，尽管初期感觉效率低下，却能有效帮助学生构建与LLM协作中的元认知能力，使其在无导师监督时仍能保持主动理解和批判性思考。

这一发现对编程教育、在线学习平台以及基于LLM的辅导系统设计具有重要启示：设计者不应只追求“任务完成速度”或“用户满意度”，而应权衡支架的类型。苏格拉底式引导可以视为一种“必要难度”（desirable difficulty），它虽然暂时增加了认知负荷，却促进了更深层次的学习迁移。

此外，研究还提示，评估LLM教育工具的效果不应只看短期表现，更要考察学生在脱离工具后的独立能力。未来的LLM导师界面可以融合两种策略：在早期提供苏格拉底式对话，在后期逐步过渡到提示优化支持，以兼顾效率与长期发展。