Agentic Knowledge Tracing: 利用多智能体 LLM 架构在严肃游戏中实现金融素养的隐蔽评估

背景

在教育类严肃游戏（Serious Games）领域，如何在不打断玩家沉浸体验的前提下，准确评估其学习成果一直是一个核心挑战。传统的评估方式往往依赖于游戏结束后的独立测试或问卷，这不仅破坏了游戏流程，还可能导致“测试焦虑”，无法真实反映玩家在动态交互过程中的能力变化。

金融素养（Financial Literacy）作为一个多维度的能力集合，涵盖风险管理、投资、消费和信贷管理等多个方面，其评估尤为复杂。现有的自动化评估方法通常难以捕捉玩家在开放-ended（开放式）游戏行为中体现出的细微能力差异。

本文提出了一种名为 Agentic BKT 的管道，这是一种基于多智能体大语言模型（Multi-Agent LLM）的架构，旨在通过“隐蔽评估”（Stealth Assessment）技术，从玩家在 2D 平台跳跃严肃游戏中的开放式行为事件中，实时推断其金融素养掌握程度。该研究对齐了经合组织/国际金融网络（OECD/INFE）的金融素养框架，试图解决传统评估中效度低、干扰性强的问题。

核心内容

1. 系统架构：Agentic BKT 管道

Agentic BKT 管道由四个主要阶段组成，形成了一个从数据采集到最终评分的完整闭环：

• 阶段一：结构化事件日志捕获 游戏引擎捕获玩家的每一个决策，并将其记录为结构化的事件日志。这些数据构成了后续分析的基础素材。

• 阶段二：LLM 事件分类器 一个大型语言模型（LLM）充当分类器，对每个游戏动作进行标注。标注标准基于一个四点量规（four-point rubric），该量规经过三位领域专家的验证，确保了评估标准的专业性和一致性。统计显示，该分类器与专家判断的一致性较高（Fleiss kappa = 0.624，属于“实质性一致” substantial agreement）。

• 阶段三：领域特定智能体推理与贝叶斯知识追踪 这是系统的核心部分。系统部署了四个专门化的领域智能体（Domain-specific Agents），分别专注于以下四个金融素养维度：

  1. 风险缓解（Risk Mitigation）
  2. 投资（Investing）
  3. 消费（Spending）
  4. 信贷管理（Credit Management）

  这些智能体对玩家的行为轨迹进行会话级推理（Session-level reasoning），并将推理结果输入到贝叶斯知识追踪（Bayesian Knowledge Tracing, BKT）模型中。BKT 是一种经典的认知诊断模型，用于估计学生在特定知识点上的掌握概率。在这里，它被用于估算玩家在每一个金融素养领域内的掌握程度。

• 阶段四：专家裁判智能体综合评分 最后，一个“专家裁判智能体”（Expert Judge Agent）汇总来自上述四个领域智能体的估计值，合成一个整体的金融素养掌握分数（Overall Mastery Score）。

2. 实验评估与结果

研究团队在 264 个游戏会话中，对 193 名 K-12（幼儿园至高中）参与者进行了评估。主要发现如下：

• 收敛效度与区分效度： Agentic BKT 管道生成的掌握度估计值与学习增益（Learning Gain，即后测与前测的分数差）显著相关（r = 0.276, p = 0.0001），也与后测成绩显著相关（r = 0.333, p < 0.0001）。同时，它与前测成绩无显著相关性。这表明该模型能够捕捉到玩家在游戏过程中的实际能力提升，而非仅仅反映玩家原有的知识水平，从而证明了其收敛效度和区分效度。

• 多智能体 vs. 单 LLM 基线： 作为对比，研究设置了一个仅使用单个 LLM 进行整体评估的基线模型。结果显示，单 LLM 基线的预测效度极低且无统计显著性（r = 0.095）。相比之下，Agentic BKT 多智能体方法的预测效度大约是单 LLM 基线的三倍。

关键要点

• 隐蔽评估的可行性：通过在游戏过程中自然记录行为数据，无需中断游戏体验即可完成对复杂技能（如金融素养）的评估。
• 领域分解的重要性：将复杂的金融素养拆解为风险、投资、消费、信贷四个独立维度，并由专门的智能体分别处理，显著提高了评估的准确性。
• 多智能体架构的优势：相比单一的大语言模型，多智能体架构通过“领域分解”和“会话级推理”，更好地捕捉了金融素养的多维性质，预测效度提升了约三倍。
• 专家验证的分类标准：LLM 的分类器使用了经过三位领域专家验证的四点量规，确保了自动化评估与人类专家判断之间的高度一致性（Fleiss kappa = 0.624）。
• BKT 模型的适应性应用：将传统的贝叶斯知识追踪模型应用于非结构化或半结构化的游戏行为数据，并结合 LLM 的推理能力，实现了对动态学习过程的精准建模。

意义与影响

这项研究为教育技术（EdTech）和人工智能在教育评估中的应用提供了重要的范式转变：

1. 从“结果导向”转向“过程导向”：传统的教育评估往往关注最终结果，而 Agentic BKT 证明了可以通过分析玩家在游戏过程中的每一步决策，实时、动态地构建其能力画像。这对于个性化学习路径推荐和即时反馈至关重要。
2. 解决复杂技能的自动化评估难题：金融素养等软技能或高阶认知技能难以通过简单的选择题进行有效评估。本研究展示了如何利用 LLM 的语义理解和推理能力，从开放式的游戏行为中提取有价值的评估信号。
3. 多智能体协作在认知诊断中的潜力：研究结果有力地支持了“领域分解”策略。在处理多维度的复杂能力评估时，让专门的智能体处理特定子领域，再由综合智能体进行汇总，比让一个通用模型“一刀切”地处理所有信息更为有效。
4. 对严肃游戏设计的启示：游戏开发者可以借鉴此架构，在无需增加额外测试负担的情况下，将评估机制无缝嵌入游戏核心循环中，从而提升教育游戏的教学效果和用户粘性。

总之，Agentic BKT 不仅是一种新的评估工具，更展示了多智能体 LLM 架构在处理复杂、多维教育数据时的巨大潜力，为未来智能化、个性化的教育评估系统奠定了技术基础。