openJiuwen首发多模态Skill范式Skill-Omni

背景

主流 Agent 框架中，Skill（技能）被设计为可复用的任务经验模块，旨在让 Agent 避免从零开始完成每项任务。然而，当前绝大多数 Skill 仍停留在纯文本形态（如 Markdown 文档），这在处理图像编辑、GUI 自动化、视频教程等依赖视觉判断的任务时存在严重局限。关键知识（如“修图到什么程度算合适”“界面上哪个按钮对应哪步操作”）难以通过文字准确传递，导致 Agent 只能依赖文字猜测，执行效果不稳定。openJiuwen 社区判断，视觉任务中的核心信息往往是一组可观察的状态（界面布局、操作前后变化、视觉预期结果），而非单纯的语言描述。基于此，社区正式发布 Skill-Omni——业界最早工程化落地的多模态 Skill 范式，旨在让 Agent 的经验从“读得懂”升级为“看得见”。

核心内容

Skill-Omni 是 openJiuwen 在 JiuwenSwarm 中默认提供的一套多模态 Skill 生成与执行体系，其核心组件是 meta skill skill-omni-creation——它不直接完成业务动作，而是将网页、视频等外部资料中的视觉知识（关键截图、界面状态、操作脉络）转化为 Agent 可直接复用的多模态 Skill。

生成能力：从网页和视频提取多模态经验

1. 网页转多模态 Skill
   用户只需提供一个网页链接，系统自动解析内容并下载图片资源，随后通过智能去噪（过滤广告图、装饰图、无关 banner）只保留正文截图、操作步骤图、前后对比图等有价值信息，最后将文字步骤、关键图片和操作逻辑重组为信息密度更高的多模态 Skill。例如，某一讲解照片欠曝光修复的网页教程，其关键视觉判断标准（暗部细节是否拉回、高光是否过度提亮）连同前后对比图被一同沉淀进 Skill，使 Agent 不仅能知道“如何修复”，还能理解“修复到什么程度才算合适”。

2. 视频链接转多模态 Skill
   用户提供 B 站等视频链接，系统从连续画面中筛选关键帧，识别关键操作节点，整理出“什么时候发生了什么变化”。例如，一个 Bilibili 视频完整讲述 JiuwenSwarm 的安装过程，skill-omni-creation 会围绕关键帧整理安装步骤、命令说明和界面状态，使 Agent 不仅依赖文字，还能依据终端输出和启动界面判断安装是否成功。

执行能力：Agent 如何读取多模态 Skill

生成多模态 Skill 后，JiuwenSwarm 采用一套按需读取机制：

• 环境检测：运行时先检测用户提供的 API 是否支持多模态输入，避免在模型不支持视觉输入时盲目加载图片。
• 动态注入与按需调用：调用 Skill 时，系统自动检查 Skill 中是否包含图片链接，若有则注入提示，引导 Agent 在需要时调用 read_file 读取图片。图片不会一次性全部塞进上下文，而是按需进入执行过程，既保留视觉信息，又避免上下文负担。

通过这一机制，Agent 在真实任务中可主动访问多模态证据，而非仅靠文字描述。例如，在欠曝光修复任务中，Agent 参考 Skill 中沉淀的前后对比图，判断暗部是否重现、高光是否拉过头、色彩是否自然，从而获得执行与判断质量的视觉标准。

适用场景

• 图像编辑与设计（Photoshop、ComfyUI、图像修复）
• GUI 自动化（后台配置、桌面软件操作、复杂表单）
• 视频教程沉淀（将软件教程、产品演示的关键帧提取为 Skill）
• 企业知识库升级（将 SOP 中的截图、录屏、流程图转化为 Agent 可调用的知识资产）

关键要点

• 多模态 Skill 的核心价值：不是简单的“信息更多”，而是为 Agent 提供更大的决策信息空间。在理想决策器假设下，引入有效的多模态信息不会降低 Agent 的最优决策能力，反而提高信息上限。
• 两种生成入口：网页链接（自动解析、去噪、重组）和视频链接（关键帧筛选、操作节点识别）。
• 按需读取机制：环境检测 + 动态注入 + 按需调用，避免一次性加载大量图片撑爆上下文，这是 JiuwenSwarm 的关键工程创新。
• 参考文献支撑：MMSkills、VisualSkill 等学术工作已系统论证多模态 Skill 方向，openJiuwen 将其从范式讨论推进到生产级工程落地。
• 从 Markdown 到 Multimodal：Skill-Omni 标志着 Skill 从纯文本资产转变为多模态经验层，使 Agent 能够复用“看得见”的知识，而不仅限于文字规则。
• 未来演进：Skill-Omni 将探索面向 Physical AI 场景的 Physical Skill，例如用物体抓取热力图沉淀物理交互经验，使 Agent 不仅复用“看得见”的经验，也复用“拿得稳、做得成”的经验。

意义与影响

Skill-Omni 的发布标志着 Agent Skill 工程化迈入多模态阶段。在此之前，Skill 长期被局限于纯文本，视觉任务中的关键知识（界面状态、操作反馈、视觉预期）无法被 Agent 有效复用。openJiuwen 通过 skill-omni-creation 打通了从网页/视频到多模态 Skill 的完整链路，并借助按需读取机制解决了多模态信息加载与上下文控制的矛盾。这不仅提升了 Agent 在图像编辑、GUI 自动化等典型视觉任务中的执行准确率，也为企业知识库升级提供了新范式——以往面向人类的图文教程、视频教程可直接转化为 Agent 可调用的知识资产。从更宏观的视角看，Skill-Omni 是 openJiuwen 将 Skill 从“一份文档”升级为“经验工程体系”的关键一步，其后续向 Physical AI 场景的扩展（如 Physical Skill）预示着 Agent 的复用经验将不仅限于屏幕视觉，还将涵盖物理世界的触觉与操作经验，为具身智能的规模化落地奠定基础。