具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了
AI 深度解读
背景
具身智能(Embodied AI)领域长期面临一个核心挑战:如何让机器人从经验中持续学习,而非每次都从零开始。传统机器人训练依赖大量真机数据采集或仿真到现实(Sim-to-Real)迁移,通过梯度下降优化模型权重。这种方法成本高昂,且模型在遇到新任务或新环境时往往表现不佳。
近年来,Code as Policy范式逐渐兴起。与VLA(Vision-Language-Action)等端到端策略模型不同,Code as Policy不让模型直接输出机器人动作,而是让大模型生成可执行的机器人控制程序。这些程序可以调用感知模块、规划API和控制原语(如识别物体、规划路径、移动机械臂、执行抓取),使机器人行为变得可解释、可调试。
然而,传统Code as Policy存在两个关键瓶颈:第一,机器人执行失败后,系统通常只知道"任务没完成",却难以定位具体是感知错误、抓取不稳、路径碰撞还是恢复动作出了问题;第二,调试过程中发现的修复方案、恢复策略和prompt写法往往被丢弃,无法形成可复用的经验积累。
核心内容
ASPIRE:机器人版Coding Agent
英伟达GEAR团队开源的ASPIRE(Agentic Skill Programming through Iterative Robot Exploration)正是为了解决上述问题而生。其核心理念是将机器人的一次次失败和修复过程,沉淀为可复用的经验库——一个持续扩展的机器人技能库(Sensorimotor Skills)。
ASPIRE的工作机制类似于一位人类机器人工程师:当机器人执行任务失败时,系统会回放多模态执行轨迹,分析感知结果和运动轨迹,判断问题根源(如抓取错误、规划失败或恢复动作缺失),然后修复程序并将验证过的经验写入Skill Library。这些Skill本质上是喂给大模型的上下文,包含经过验证的代码修复经验(Code Repair Pattern),使机器人在遇到类似问题时能够直接调用已有解决方案。
例如,当机器人准备拿起一个收音机时,虽然已识别目标,但规划器(Planner)给出的目标点始终落在障碍物的碰撞缓冲区内。ASPIRE会分析出这一原因,并总结出一条新Skill:遇到此类规划失败时,尝试从45°、90°、180°等不同角度重新接近目标,直到找到无碰撞路径。该经验可复用于收音机、微波炉或其他家具场景。
三阶段Pipeline
ASPIRE的实现分为三个阶段:
1. Robot Execution Engine(机器人执行引擎) 传统机器人程序失败后,系统可能仅反馈"任务未完成"。ASPIRE则将失败拆解,记录每一次感知、规划、抓取、控制调用的输入、输出、视觉证据和错误日志,供coding agent分析。
2. Skill Library(技能库) Agent修复程序后,经验不会被丢弃,而是被提炼为可复用的知识。官网技能库中可见具体条目,如SAM3文本提示的编写方法、桌边物体的多角度接近策略、抽屉把手的假检测过滤、平面物体推动时的motion primitive选择等。这些Skill更像机器人程序员的"踩坑笔记",而非传统模型权重。
3. Evolutionary Search(进化搜索) 系统会生成多条候选控制程序,
