High-Order Question Generation in a Multilingual Educational Context

背景

批判性思维是教育中帮助学习者超越简单记忆的核心技能之一。培养批判性思维的有效途径是采用高阶提问（high-order questioning），这类问题要求学生进行分析、评估和创造，而非仅回忆事实。然而，在实际教学中，教师往往难以设计出高质量的高阶问题，课堂实践倾向于使用低阶问题（如事实性回忆）。近年来，大型语言模型（Large Language Models, LLMs）在生成高阶问题方面展现出强大能力，尤其在基于Bloom's Taxonomy（布鲁姆分类法）的提示词引导下表现突出。但现有研究几乎全部聚焦于 Bloom 这一单一框架，且仅限于英语场景。这造成了两个关键空白：一是缺乏对 Bloom 之外的其他提问框架的探索；二是缺少对多语言教育环境的覆盖。本研究正是针对这些空白，提出了基于Claim-Evidence-Reasoning（主张-证据-推理，简称CER）和Divergent Questioning（发散性提问）两种替代框架的提示词策略，并在包含巴斯克语（Basque）、西班牙语（Spanish）和英语（English）的多语言语境中进行了实验评估。

核心内容

该论文提交于2026年7月15日，来自arXiv的 cs.CL 子领域。研究围绕“多语言教育语境下的高阶问题生成”展开，核心实验设计如下：

• 模型选择：使用了两种类型的 LLM——一个开源模型（未明确命名，但原文称“an open-source model”）和一个专有模型（proprietary model，可能如 GPT-4 等）。两者均通过提示词（prompts）引导生成问题。
• 提示框架：除了传统的 Bloom's Taxonomy 提示外，研究者设计了两套替代框架的提示：
  • Claim-Evidence-Reasoning (CER)：引导学生围绕一个主张（claim）、支持性证据（evidence）和逻辑推理（reasoning）提出问题，强调论证结构。
  • Divergent Questioning：鼓励生成开放性、多角度、非唯一答案的问题，侧重发散思维。
• 语言环境：覆盖三种语言——巴斯克语、西班牙语和英语。巴斯克语是一种非印欧语系语言，结构独特，用于检验模型在低资源语言上的表现；西班牙语和英语则代表主流语言。
• 评估方法：由教育领域专家（教师）对生成的问题进行人工评判，核心指标包括：
  • 可回答性（answerability）：问题是否具有明确的答案或合理的解答路径。
  • 高阶性（high-order）：问题是否属于 Bloom 分类中的分析、评价或创造层级，或教师主观判断为高阶。

主要结果：

1. 生成能力：无论是开源模型还是专有模型，在三种语言中都能较为有效地生成问题。这表明 LLM 在高阶问题生成上具有跨语言泛化能力。
2. 高阶认定：然而，在所有可回答的问题中，只有约一半被教师认定为高阶。即模型生成的问题中有大量虽然可回答，但被评判为低阶（如事实性或理解性问题）。
3. 框架差异：积极的一面是，CER 和 Divergent Questioning 两种替代框架产生了在结构和概念上明显不同的提问类型。例如，CER 问题更强调因果链条和证据支撑，Divergent 问题更偏向开放性和批判性视角。这些差异表明，不同框架可以相互补充，为学生提供多样化的高阶思维训练途径。
4. Bloom 的替代价值：论文总结认为，CER 和 Divergent Questioning 提供了可行的替代方案，且与 Bloom's Taxonomy 结合使用时，可能覆盖更全面的高阶提问类型。

此外，论文还列出了相关的引用和工具（如 Bibliographic Explorer, Connected Papers, Litmaps 等），以及 arXivLabs 等协作平台信息，但这些都是标准 arXiv 页面元素，并非研究核心内容。

关键要点

• 现有研究主要依赖 Bloom's Taxonomy 进行高阶问题生成，且仅针对英语，本研究首次在 多语言（巴斯克语、西班牙语、英语） 语境下引入 Claim-Evidence-Reasoning（CER） 和 Divergent Questioning 两种框架。
• 开源模型和专有模型在三种语言中均能生成可回答的问题，但高阶问题的识别率仅为约50%，说明模型的“高阶性”与教师判断之间存在显著差距。
• 替代框架生成了结构（如CER的论证链）和概念（如发散提问的开放性）截然不同的问题类型，表明它们不是 Bloom 的机械复制，而是有独立的教育学价值。
• 三个框架（Bloom, CER, Divergent Questioning）具有互补性：结合使用可能提升高阶问题的多样性和覆盖面。
• 研究中未明确公布具体的模型名称和训练数据，结果基于人工评审，存在一定主观性；但多语言和多元化框架的设计具有开创性。

意义与影响

这项研究对教育技术、自然语言处理和多语言学习具有多重意义：

1. 拓宽了高阶提问生成的理论基础：长期以来，教育领域仅将 Bloom's Taxonomy 作为设计高阶问题的唯一参照。本研究通过实证表明，CER 和 Divergent Questioning 等替代框架同样能产生富有价值的高阶问题，甚至可能在某些维度上超越 Bloom（如发散思维）。这为教师和课程设计者提供了更丰富的工具集。

2. 推动了多语言教育 AI 的评估：将测试语言扩展到巴斯克语这一低资源语言，验证了 LLM 在非主流语言上的通用能力，同时也暴露了模型在“高阶性”判断上与人类审评间的偏差。未来研究需关注跨语言、跨文化的提问质量标准化评估。

3. 挑战了“LLM 即高阶提问神器”的刻板印象：尽管模型能流畅生成问题，但仅一半被教师认可为高阶，说明单纯依赖模型可能导致大量“伪高阶”问题（看似复杂，实则仍是低阶）。提示工程仍需结合教育理论进行精细化设计，而非简单套用模板。

4. 为个性化学习系统提供设计启示：如果系统能根据学习目标灵活切换提示框架（如逻辑推理训练时用 CER，创意发散时用 Divergent），则可能实现更精准的认知层次引导，超越单一框架的局限。

5. 局限与未来方向：研究未披露模型的具体版本，且教师评审存在文化背景差异（例如巴斯克语教师对“高阶”的理解可能不同）。后续工作可引入自动评估指标（如文本复杂度、问题类型分类器），并探索将多个框架动态组合的 prompt 策略。