KnowAct-GUIClaw：能自我进化记忆和技能的跨平台GUI助手
速览
KnowAct-GUIClaw基于Know-Route-Act-Reflect框架，解决OpenClaw在跨平台GUI交互与自进化机制上的不足。它通过宿主代理进行任务分解与分配，并引入可插拔GUI子代理，具备经验归因记忆系统和自进化技能库，实现无缝跨平台迁移。在Android、iOS、HarmonyOS和Windows上的实验表明，其效率、准确性和跨平台适应性均优于现有框架。特别是基于开源Kimi-2.6模型的GUIClaw在MobileWorld基准上达到64.1%，超越Seed-2.0-Pro和GPT-5.5等闭源模型。该框架支持记忆与技能在不同基础模型间迁移，在Kimi-2.6上性能提升8.5%。
AI 深度解读
背景
OpenClaw 当前是面向复杂任务自动化的领先智能体框架，但在跨平台 GUI 交互支持与自我进化机制方面存在明显不足。具体而言，OpenClaw 难以适应多样化的设备生态（如 Android、iOS、HarmonyOS、Windows），且缺乏从执行经验中持续学习来提升性能的自进化能力。这些缺陷限制了它在真实用户场景中的泛化能力与长期有效性。
为了弥补这些短板，研究团队提出了 Know Deeply, Act Perfectly（“深知准行”）范式，其核心理念是：累积的用户交互经验与任务执行历史可以直接提升后续操作的准确性与效率，从而实现认知理解与操作执行的高度统一。基于这一范式，该工作推出了 KnowAct-GUIClaw——一个全新的 Know-Route-Act-Reflect 框架，专门用于解决 OpenClaw 在 GUI 操控方面的不足，并突破其跨平台与递归式自我改进的瓶颈。
核心内容
KnowAct-GUIClaw 框架围绕四个阶段展开：Know（认知）、Route（路由）、Act（执行）、Reflect（反思）。
- Know 阶段：宿主智能体（host agent）利用累积的用户交互经验与任务相关知识，进行长时程任务分解与分配。该过程持续存储用户画像与反馈，以提升任务拆解与工具调用的准确性。
- Route 阶段：框架内部的路由机制将分解后的子任务导向合适的子代理。其中设计了可插拔的 GUI 子代理（pluggable GUI subagent），配备经验归因记忆系统（experience-attributable memory system）与自我进化的技能库（self-evolving skill library）。记忆系统负责记录历史操作、用户偏好及效果反馈；技能库则根据执行结果自动调整或新增操作模板，实现“学以致用”。
- Act 阶段：GUI 子代理基于记忆与技能库，结合当前界面状态执行具体操作。由于技能库是可跨平台迁移的，子代理能够无缝适应 Android、iOS、HarmonyOS、Windows 等不同操作系统，无需为每个平台单独训练。
- Reflect 阶段：完成任务后，框架对执行过程进行反思，将新的成功经验或失败教训整合进记忆与技能库，形成闭环进化。
该框架的关键创新在于：将用户交互历史与任务执行经验作为显式知识注入智能体的决策过程，使得执行准确性和效率随着使用时间持续提升。同时，记忆与技能库可跨基础模型迁移——实验表明，将框架搭载于开源 Kimi-2.6 模型后，整体性能提升 8.5%。
性能数据：在长时程任务基准 MobileWorld 上，搭载 Kimi-2.6 的 GUIClaw 取得了 64.1% 的最佳成绩，超越了所有基于智能体框架的方法以及闭源智能体模型，包括 Seed-2.0-Pro 和 GPT-5.5。
关键要点
- 跨平台 GUI 操控：框架原生支持 Android、iOS、HarmonyOS、Windows 四大操作系统，通过可插拔子代理与跨平台技能库实现无缝迁移。
- 自我进化机制：经验归因记忆系统与自进化技能库使智能体能够从每次交互中学习，逐步提升任务分解精度与操作成功率，无需人工重新训练。
- Know-Route-Act-Reflect 流水线：将认知（Know）、路由（Route）、行动（Act）与反思（Reflect）形成闭环，其中反思阶段保证新知识被持续吸收。
- 开源模型表现超越闭源：基于开源 Kimi-2.6 的 GUIClaw 在 MobileWorld 上以 64.1% 的成绩超越闭源模型 Seed-2.0-Pro 与 GPT-5.5，证实了自进化策略的有效性。
- 知识与技能可迁移：记忆与技能库不绑定特定基础模型，更换底层大语言模型（如 Kimi-2.6）时仍能保持或提升性能（+8.5%），具有良好的泛化性。
意义与影响
KnowAct-GUIClaw 的出现标志着 GUI 智能体从“一次性静态任务执行”向“持续交互学习”的关键转变。其核心理念“深知准行”强调了经验积累对精准操作的重要性，这对于个人助手类产品（如手机助理、桌面自动化工具）具有直接指导价值。
对学术界：该工作首次在长时程 GUI 任务中证明了自进化记忆与技能库可以显著超越闭源超大模型，为低成本、可迭代的智能体设计提供了新范式。跨模型迁移能力的验证也降低了智能体对特定基础模型的依赖。
对产业界：随着设备生态愈加复杂（手机、平板、PC、IoT），一个能自适应不同平台且越用越聪明的 GUI 助手具有巨大的商业化潜力。例如，企业可利用该框架构建统一的设备自动化后台，用户则可获得真正个性化的操作辅助。
局限性与本研究的引申：虽然实验覆盖了四大主流 OS，但论文未提及在极端低资源设备或极端复杂交互（如多应用联动）下的表现。此外，记忆系统的存储开销与隐私安全问题也需要进一步探讨。但总体而言，KnowAct-GUIClaw 为构建“终身学习式”个人 GUI 助手铺平了道路，其思想可延伸到其他多模态人机交互场景。