一个模型同时预测未来画面与动作,补五次演示就把成功率拉到九成五

首页 / AI资讯 / AI建模

0:00
0:00
1x
定时

11月10日,英伟达在CoRL大会上发布机器人基础模型GR00T 2。官方把它定义成"世界动作模型",因为它在同一个网络里做两件事:预测接下来画面会怎么变,以及机器人该输出什么动作。这两件事过去通常交给两个模型,一个做世界模型,一个做策略。

更值得注意的是数据来源。它不只吃机器人在真机或仿真里跑出来的轨迹,还能吃人的演示:手持夹爪采集的动作、戴着动作捕捉手套采集的手部动作,都可以作为训练输入。这一步把可用的数据从"机器人做过的事"扩展到"人做过的事"。

从看视频到看人做,演示数据换了一种采法

机器人数据的稀缺是结构性的。视频数据量大,但只有观察没有动作,模型看得到杯子被拿起来,不知道手指用了多大劲。真机遥操作数据有动作有反馈,但采一条少一条,换一个场景就得重来。这两类数据之间一直缺一座桥。

人的演示补的正是这座桥。人做同一件事的速度比遥操作快得多,采集成本低一个量级,而且天然包含力与节奏这些细节。难点在于本体差异:人的手与机械手在尺寸、自由度、关节顺序上都不同,动作不能直接照搬,必须映射。

GR00T 2的做法是把画面预测与动作预测放进同一个模型。预测画面提供了物理后果的监督信号,动作预测提供了执行路径,两者共享表示之后,模型学到的是"这样做会让世界变成那样",而不是单纯的输入输出映射。这也是它被叫作世界动作模型的原因,也是最容易被误读的地方:它预测的画面不是为了给人看,是为了给自己算动作。

50项没见过的任务,零样本四成,微调后九成五

官方给的数字分两档。在目标机器人从未见过的50项任务上,零样本成功率是40%。这个数字不高,但对一个没有针对该本体训练过的模型,四成意味着它已经掌握了任务的大致结构,只是不熟悉这台机器的身体。

第二档是微调之后。补充五次演示,在单张RTX 5090上微调三十分钟,成功率升到95%。从40%到95%只用了五次演示和半小时,这个比例关系比绝对数字更关键,它决定了部署一个新任务的边际成本。

工程上要小心读这两个数字。50项任务是厂商选定的,任务分布会影响零样本表现;五次演示的效果也取决于演示质量,采集时动作是否规范、视角是否覆盖,都会让结果浮动。真实产线上还要处理光照变化、物体位置偏移、来料差异,这些不在评测集里。零样本四成与微调后九成五,衡量的是"这台机器学新活有多快",不是"这台机器能顶几个工人"。

一个模型驱动夹爪、灵巧手与人形,接口比参数更关键

同一个模型要驱动三种差异极大的末端执行器:两指夹爪、多指灵巧手、人形机器人的全身。它们的自由度从一两个到几十个不等,动作空间的性质也不同。能不能共用一个模型,取决于输入输出接口怎么设计。

常见的做法是把动作空间抽象成统一的表示,比如末端位姿加手指关节角,再按本体做投影。这样模型学的是任务层面的动作意图,具体怎么落到电机上由一层适配器处理。这套设计的代价是精度损失,收益是同一个模型能覆盖更多本体。统一表示还有一个隐性好处,换本体时采集的演示数据可以继续用,不必为每台机器单独攒一个数据集。

对整机厂的意义在于选型自由度。过去换一个末端执行器,策略要重训;现在只要适配器写对,模型可以继续用。这也是通用机器人基础模型最实际的卖点,不是比专用策略更强,而是让换硬件的代价降下来。

半小时微调的门槛在单卡,而不在集群

单张RTX 5090、三十分钟,这两个条件组合起来说明了一件事:部署一个新手部任务的算力门槛已经降到消费级显卡的水平。对做产线集成的团队,这比"支持多少张卡并行训练"重要得多,因为现场往往只有一台工控机。

门槛降低会改变交付方式。过去部署一个新工序,要回总部训练、再回现场调试,来回几周;现在工程师在现场采五次演示、等半小时,就能看到结果。这种节奏上的变化会直接影响能不能接小批量、多品种的订单。

但半小时微调出来的策略,鲁棒性通常有限。演示覆盖不到的状态,模型容易失效;连续运行几个小时之后的漂移,也需要额外监控。工业客户真正买的是连续运转的稳定性,这一项没法用成功率数字替代,只能靠现场跑够时长来证明。这也是为什么不少集成商的做法是先拿一条产线做三个月的对照,再决定要不要铺开。

代码12月开放,真正的考验在那之后

官方说代码计划在12月开放。开源之后会发生两件事:一是各种本体上的复现实验会快速铺开,二是失败案例也会被公开。这两件事对判断模型的实际边界都有价值,比发布会上的演示更能说明问题。

复现的关键变量是数据。同样的模型,用不同质量的人手演示去微调,结果会差很多。开源社区最容易忽略的恰好是采集规范,比如手腕角度、抓取速度、视角一致性。这些细节决定40%到95%这段跃迁能不能被复制。

还有一个待答的问题是与仿真的关系。如果这个模型能同时预测画面与动作,那么它天然可以充当仿真器里的策略评估工具,先在生成的画面里试错,再到真机上验证。这条路径一旦走通,机器人训练的迭代速度会再上一个台阶,而这也是世界模型最被期待的用处。

素材来源:每日极客日报、机器之心、DEV Community 发布时间:2026-11-11