英伟达开源LongWAM世界动作模型,机器人凭19秒视觉记忆完成长程任务

首页 / AI资讯 / AI建模

视频生成与机器人控制这两条原本平行的技术线,正在英伟达的开源仓库里汇流。据NVIDIA研究团队官方仓库及AI Insiders等媒体报道,英伟达NVlabs团队于10月7日在LongLive仓库中正式发布Long-WAM世界动作模型,配套论文10月8日登上预印本平台。这套模型教会机器人一件事:凭借长达19.2秒的视觉记忆来决定下一个动作。代码与权重全部采用Apache 2.0许可开放,任何人都可以下载、复现并部署到真实硬件上。

Long-WAM的发布让LongLive仓库从单一视频模型正式升级为四项目的合集:实时交互式长视频生成、NVFP4训练推理基础设施、跨模型蒸馏方法与世界动作模型。英伟达的视频生成实验室开始认真写机器人控制代码,这个信号本身就值得整个具身智能行业细读:生成式视频的工程积累,正在成为物理AI的地基。

仓库一变四:从长视频生成到世界动作模型

先看这个仓库的演进脉络。第一代LongLive于年初被顶级会议收录,主打实时交互式长视频生成:用户连续输入提示词,视频边生成边响应,注意力锚点与缓存重算技术保证了长序列下的画面质量。第二代版本于今年5月发布,定位是训练与推理的基础设施,采用英伟达自研的4比特浮点格式与序列并行技术,在旗舰硬件上把长视频生成推到了每秒45.7帧的水平。今年9月末发布的蒸馏组件则解决另一个工程痛点:把一项能力在基座模型上蒸馏一次,就能移植到多个下游模型,无需昂贵的重新训练,已适配主流开源视频模型。

新成员Long-WAM把这套长视频技术栈推向了新方向。按照官方仓库的划分,四个项目各自独立成目录,配套各自的文档与权重,开发者可以按需只拉取其中一个。这种持续维护的姿态与传统的一次性论文交付形成鲜明对比:过去几个月里,仓库陆续落地了FP8推理、吞吐量18.6%的优化与多套训练方案,文档站点覆盖安装、训练与数据组织全流程。对工程团队而言,一个持续活着、持续变快的开源项目,比一篇漂亮的论文更有价值。

19.2秒视觉记忆:机器人为什么需要会看再会做

世界动作模型这个词听起来抽象,它解决的问题却非常具体。长视频生成模型有一个著名的失败模式:忘记自己30秒前生成过什么,于是房间里的家具悄悄漂移。机器人控制面临的是同构的困境:一个忘记自己30秒前做过什么的机械臂,会把刚刚码好的杯子再捡一遍。Long-WAM的思路是让这两个问题共用一套解法:先在机器人视频上预训练视频模型,再让它学会根据长期视觉历史预测动作,输出的是操作序列而非像素。

官方发布的检查点把这个设计讲得很透明:同一任务家族提供从零秒到19.2秒的五档视觉历史版本,逐级翻倍,等于内置了一组关于策略到底需要多少记忆的对照实验。配套数据资产包括一个13万条轨迹的双臂操作预训练数据集,评测基准覆盖LIBERO、RoboTwin 2.0、RoboCasa等多个机器人操作基准,其中既有厨房通用策略也有专用任务模型。视频记忆长度的价值在长程任务中最为明显:叠碗、分拣、多步骤料理这类任务,动作的正确性往往取决于十几秒前发生的事。

三台真机与一套基准:开源走向可复现

部署侧的诚意同样扎实。Long-WAM提供了三款真实硬件的接口:YAM双臂机械臂、Franka科研机械臂与宇树G1人形机器人,运行档位覆盖消费级旗舰显卡、桌面超算与机器人开发套件,从实验室到工作室的门槛被大幅拉低。基准评测脚本、训练流程与真机部署示例一应俱全,配合宽松的开源许可,学术团队可以直接在公开检查点上验证自己的任务,企业团队则能以此为起点做二次开发。

值得称道的还有开源项目少见的诚实度。仓库的成熟度标注非常清晰:第一代模型经过顶级会议同行评审,其余三个项目仅有预印本;项目页面没有引用任务成功率数字,提醒使用者论文中的结果是团队自测,建议先在公开检查点上跑自己的任务再下结论。这种不吹牛的工程文化,反而增强了项目的可信度,也为行业立了一个标杆:开源项目的价值不在宣传页,而在别人能不能把你的结果跑出来。

视频与机器人共用底座:物理AI的路线图

把镜头拉远,Long-WAM代表着物理AI的一条清晰路线图:生成式视频负责让机器看见并想象世界,世界模型负责预测物理后果,动作策略负责执行。三个环节共享同一套视觉表征与长序列记忆技术,英伟达在仿真平台与机器人基础模型上的布局正在形成闭环。对整个行业而言,视频生成与具身智能的工程底座合流,意味着数据、算力与人才的复用效率大幅提升,过去两个领域各自烧的钱开始产生协同效应。

对国内开发者而言,这份全开源的仓库还有一个现实意义:机器人研究长期受制于真实数据与真机成本,一套附带权重、基准与部署接口的完整方案,等于把起步线抬高了一截。对机器人公司而言,直接复用一个经过大规模视频预训练的底座,比从零训练策略模型节省的算力与数据成本以数量级计。长视频生成教给机器人的不只是看,还有记住看过的东西,当记忆与行动在同一个模型里咬合,具身智能的下一程或许比预期来得更快。

素材来源:英伟达官方仓库、AI Insiders、AI TLDR 发布时间:2026-10-13