英伟达开源Cosmos 3世界模型,4B轻量边缘可跑,机器人实时推理省成本

首页 / AI资讯 / AI建模

0:00
0:00
1x
定时

物理AI的落地,正在获得一套全新的基础底座。英伟达近日发布并开源Cosmos 3世界模型家族,这是面向机器人、自动驾驶与视觉AI的开放式基础模型,底层采用Mixture-of-Transformers架构,把视觉推理、世界生成与动作预测整合进同一个模型体系。Cosmos 3包含三个档位:Super版64B参数用于高保真世界建模,Nano版16B参数面向高效推理与后训练,Edge版仅4B参数,专为端侧部署设计,可在英伟达RTX GPU、DGX系统以及包括Jetson Thor在内的Jetson平台上运行,为机器人提供实时视觉分析与自主决策能力。

一个模型家族,包揽理解、生成与预测三大任务

Cosmos 3的设计思路,是终结物理AI领域"一个任务一个模型"的碎片化局面。过去,机器人开发者往往需要为场景理解、数据生成、行为预测分别训练不同的模型,维护成本高、协同效率低;Cosmos 3则把这些能力统一进一个模型家族,开发者可以将其用作视觉语言模型,用于理解真实场景;也可以作为世界模拟器,预测未来世界状态并生成大规模合成数据;还可以作为世界动作模型的主干网络,为机器人规划下一步行动。

这种一体化设计对物理AI开发者意义重大。以机器人为例,一台机器人既需要识别眼前物体,又需要预测物体运动轨迹,还需要规划自己的行动路径,过去这些能力分散在多个模型中,部署与调试极为繁琐;Cosmos 3让开发者在同一套框架内完成全部任务,显著降低了开发复杂度。英伟达官方数据显示,Cosmos 3在开放权重文生图与图生视频基准上排名第一,在世界生成基准PAI-Bench与Physics-IQ图生视频类别中同样登顶,机器人策略基准RoboLab上也位列第一。

4B参数的Edge版,把世界模型塞进边缘设备

Cosmos 3家族中最受关注的,是专为端侧设计的Edge版。仅有4B参数的它足够轻量,可以在边缘GPU上运行,支持在NVIDIA RTX GPU、DGX系统以及包括Jetson Thor在内的Jetson平台部署。对于机器人应用而言,这意味着世界模型可以脱离云端,直接在机器人本体上运行:设备端的视觉分析不再依赖网络传输,延迟大幅降低,数据也不必上传云端,隐私与安全性显著提升。

借助开源的Cosmos框架,开发者可以在一天内针对机器人不同形态与传感器对Cosmos 3 Edge进行后训练,缩小仿真到现实的差距,随后部署到Jetson Thor上用于实时视觉分析和机器人自主决策。这种"快速后训练加端侧部署"的组合,正在大幅降低机器人从实验室走向量产的门槛。从T3000、T2000硬件模组到Jetson Agent Skills,再到Cosmos 3 Edge轻量级世界模型,英伟达正构建一套覆盖硬件、软件与模型的完整边缘AI生态。

开放许可证与生态布局,世界模型的普惠路线

在授权策略上,英伟达延续了近年来的开源倾向。Cosmos世界基础模型以Linux基金会OpenMDW 1.1许可发布,开发者可以获得模型权重,并在自己的数据与硬件上进行后训练。英伟达强调,开放性是物理AI的实际技术需求而非单纯的许可偏好:通用模型没有见过开发者的特定机器人、车辆、传感器与运行环境,只有允许适配与后训练,模型才能真正在生产场景中发挥作用。

生态方面,英伟达正在用Cosmos串联起更宏大的物理AI版图。机器人领域,斗山机器人、LG电子、三星电子、Skild AI等厂商已在使用Cosmos;自动驾驶方面,理想汽车、小米等中国企业也已接入;视觉AI领域,多家行业方案商基于Cosmos 3构建工业AI与智慧空间应用。配合Omniverse仿真工具与OpenUSD数据框架,以及覆盖模型、研究、评测的Cosmos联盟,英伟达正试图让世界模型成为机器人、车辆与视觉系统共同依赖的基础层。

世界模型竞赛升温,物理AI迎来基础设施时刻

Cosmos 3的发布,让世界模型赛道的竞争进入新阶段。世界模型的价值在于解决物理AI最核心的瓶颈:真实世界数据的采集成本高、罕见场景难以安全复现。通过生成符合物理规律的合成数据,世界模型可以让机器人在虚拟环境中完成大量训练与测试,再迁移到现实世界,从而显著降低研发成本与安全风险。这种"先仿真、后落地"的范式,正是物理AI规模化发展的关键前提。

从产业趋势看,世界模型正在成为继大语言模型之后的又一处兵家必争之地。英伟达以开源策略抢占开发者生态,腾讯、谷歌等厂商也在世界模型方向密集布局,中国团队同样在空间智能领域快速追赶。可以预见,随着世界模型能力的持续提升与部署成本的不断下降,机器人、自动驾驶、工业自动化等物理AI应用将迎来一轮加速落地,而Cosmos 3的开放,无疑为这场变革提供了更低的起点和更广的参与面。随着开源生态的持续壮大,更多中小团队也将能够借助Cosmos等世界模型切入物理AI赛道,推动整个产业的创新活力进一步释放。

素材来源:英伟达官方博客、机器人前瞻、wishdown、半导体行业观察 发布时间:2026-08-18