AI教练通信和视觉接地缺陷：人机协作电脑使用指导研究

## 背景

专业软件工具在创意（Blender、Figma、FL Studio）、工程（Onshape）和生产力（Excel）等领域发挥着重要作用，但学习门槛高。传统教程为“一刀切”，无法适应学习者的个性化进度。Agent 技术已能通过自然语言一键完成复杂任务，却常导致新手“自动化替代学习”，无法掌握图形界面（GUI）的表达力、精确性和速度。AI 辅助教练——让 Agent 亲自教新手使用软件——因此成为关键研究方向，但现有工作多聚焦任务自动化或静态教程，缺乏实时、多模态、 grounded（视觉接地）的教练对话数据。

## 核心内容

作者提出了 DigitalCoach，这是一个多模态数据集，包含 72 场人类专家-新手计算机使用教练会话，涵盖 22,752 个对话回合，基于 28.1 小时屏幕录制、39,609 个输入事件和 36,724 个文件快照，跨越 5 个软件应用。数据由 40 名参与者（20 位专家、20 位新手）通过 Zoom 屏幕共享会话收集，涵盖 18 个来自流行教程的任务。新手平均软件经验不足一年，专家至少 5 年经验并有 6 个月教练经历。

数据集不仅记录对话，还标注了对话行为（基于 DAMSL 方案，合并为信息寻求、提供、行动导向和 grounding 行为）和教练方法（基于认知学徒制理论：直接指令、规划、解释、提示、确认、诊断、澄清、反思、阐述、探索等）。数据还支持研究语言接地（屏幕状态、观察和动作）与学习成果（会话前后独立任务评估技能保留和迁移）。

作者使用 DigitalCoach 评估 6 种最先进的 SOTA 多模态模型（GPT-5.4、Gemini-3.1-Pro、Gemini-3-Flash、Claude-Sonnet-4.6、Qwen-3-VL-8B、Llama-4-Scout-17B）作为教练代理。实验分两阶段：

1. 自动化评估：模型在给定对话历史和屏幕帧（1 fps，时间窗 Δ）时生成教练话语，与人类参考对比。模型话语分布与人类差异显著：模型更倾向直接指令（>45% vs. 人类 30%），提供更少解释、错误诊断和知识检查问题。模型话语在词法和语义多样性上低于人类（Self-BLEU 更低，Vendi Score 更低）。即使提供预定义教练方法提示，模型仍默认指令导向；MAUVE 分数低（最佳 Gemini-3.1-Pro 仅 0.118）。CLAIR（内容相似性）得分最高为 41.4（Gemini-3.1-Pro），但文本上下文主导，纯视觉输入会使得分大幅下降（文本仅略高，视觉仅大幅低），证明模型对屏幕状态接地不足。上下文窗 30 s 最佳，60 s 收益微弱。

2. 交互式评估：使用 10 名新手进行 36 场真实交互（Gemini-3-Flash Vanilla 提示，10 s 上下文）。模型教练导致学习者被动跟随指令，无更深参与；视觉接地失败（无法跟踪屏幕状态、重复指令或幻觉）。学习成果较差：模型组任务完成里程碑和技能保留显著低于人类组（模型平均增益 31.67%，58.3% 改善 vs. 人类 54.75%，81.9% 改善；人类无一退步，模型一退步）。失败案例显示通信差距（无解释、冗长、术语密集）与接地差距（需新手主动描述进度，模型无法自适应）。

DigitalCoach 填补了人类-人类 GUI 教练的多模态、对话行为和方法标注的空白，是构建协作、主动计算机使用教练 Agent 的基础。

## 关键要点

• 数据集规模与多模态丰富性：72 场会话、22,752 回合、28.1 小时屏幕录制 + 输入事件 + 文件快照，标注对话行为和教练方法，支持语言接地与学习评估。
• 模型与人类教练差异：模型更直接指令，少解释/诊断/问题；话语更少样化；即使固定方法，仍文本主导、视觉接地弱。
• 交互效果：模型教练导致被动跟随、里程碑/技能保留不足；人类教练效果显著更好。
• 代理需求：有效教练需自适应指令+反馈，平衡 Learner 能动性，提供可迁移知识，而非仅完成任务。

## 意义与影响

DigitalCoach 为开发协作、主动、视觉接地、多模态计算机使用教练 Agent 奠定基础。现有 GUI Agent 基准多关注任务自动化，本研究转向协作对话与技能习得，揭示模型通信与接地差距，推动下一代 Agent 平衡指令与理解、增强 Learner 能动性与可迁移技能。未来可扩展至更多软件、操作系统，或构建“教练 Gym”基准，加速 AI 从自动化工具转向人类导师，赋能更广泛用户掌握复杂软件技能。