2026年7月初英伟达GEAR实验室联合斯坦福大学李飞飞团队发布了一项令人瞩目的研究成果,SimFoundry自动化Real2Sim仿真系统。该系统的核心能力令人惊叹,仅需输入一段普通的RGB视频就能自动生成具备完整物理属性的机器人数字孪生场景,而且这个数字孪生场景是可直接交互、可用于训练的真实模拟环境。这意味着机器人不再需要在实际物理环境中反复试错训练,而是在数字世界里预演之后再在真机上部署。这一成果在机器人和具身智能领域引起了强烈反响。
SimFoundry的核心技术突破在于实现了从现实到仿真的全自动化管道。传统的数字孪生构建通常需要人工测量物理环境、手动建立3D模型、手工配置物理参数,整个过程耗时长、成本高、难以规模化。SimFoundry彻底改变了这一过程。系统只需接收一段RGB视频作为输入,然后依次完成场景的3D重建、物体分割与识别、物理属性的自动化推演、环境的可交互性配置等一系列复杂环节,最终输出一个可直接使用的机器人仿真训练场景。整个流程实现了完全的自动化,用户只需要提供一段数分钟的视频素材就可以获得一个物理准确的数字孪生环境。
SimFoundry的技术架构中包含一个被称为数字孪生加数字表亲的双链路创新。在数字孪生链路上系统精确重建输入视频中的真实场景,包括物体的精确几何形状、空间位置和材质属性。在数字表亲链路上系统在重建真实场景的基础上自动变换物体布局、替换物体模型、衍生新的任务场景,从而生成海量的训练样本。这种双链路机制的核心理念是真实场景提供环境的基准真实性,衍生的多样化场景提供训练的广泛覆盖性,两者结合机器人就能在保持对真实环境认知准确性的同时获得足够的训练多样性。SimFoundry还内置了一套自动化质量评估系统,能够对生成的数字孪生场景的物理准确性和交互完整性进行自动评分。
SimFoundry的研究成果中最令人振奋的数据是仿真评测与真机表现之间的匹配度达到了0.911。在机器人领域仿真到现实的鸿沟一直是制约仿真训练效果的核心问题。机器人在仿真环境中表现得非常好,一放到真实环境中就开始犯各种错误,原因是仿真环境对物理世界的模拟不够精确。SimFoundry通过自动化重建和真实物理参数推断将仿真到现实的鸿沟大幅缩小,仿真训练获得的策略可以零样本直接部署到实体机器人上且保持接近仿真环境中的性能水平。
这一成果对机器人产业的影响是深远的。传统的机器人训练需要大量的真实物理操作,不仅成本高昂而且训练速度受到硬件的物理限制。有了SimFoundry级别的仿真系统机器人可以在数字世界中以数十倍于实际时间的速度进行训练,一个在仿真中需要一周的熟练过程在物理世界中可能需要数月。英伟达将SimFoundry描述为打通了从现实采集到仿真训练再到真机落地的完整闭环,这个闭环的成立意味着机器人数据生产的范式正在被根本性地重塑。SimFoundry还与英伟达的Omniverse平台深度集成,用户可以在Omniverse中对生成的数字孪生进行进一步的优化和定制。
SimFoundry的意义不仅仅在于机器人领域,它对整个AI 3D和空间智能产业都有重要的启示意义。过去一年多的时间里AI 3D的讨论主要围绕着如何从文本或图片生成更好的3D模型。但SimFoundry提示了一个更广阔的视角,生成3D模型本身不是目的,能够用生成的内容进行交互、模拟和推理才是真正的价值所在。SimFoundry将3D资产生成从美观展示提升到了可用训练环境的层面,这是一个维度的升级。从产业格局来看SimFoundry是英伟达在物理AI领域战略布局的又一重要落子。
在此之前英伟达已经推出了用于自动驾驶仿真的Omniverse平台和用于机器人开发的Isaac平台。SimFoundry的推出补齐了自动构建仿真环境这一环节,使得英伟达的具身智能技术栈趋于完整,从仿真环境自动构建到机器人AI模型训练再到真机部署和运营,英伟达正在打造一条机器人AI的全栈技术供应链。SimFoundry还与英伟达即将推出的AI数据中心方案深度结合,提供端到端的云端仿真训练服务。这对于任何希望在具身智能领域取得突破的企业来说都是一股不可忽视的产业力量。
SimFoundry的商业应用前景十分广阔。在工业机器人领域企业可以使用SimFoundry快速构建工厂产线的数字孪生,让机器人在虚拟环境中完成部署调试和训练后再实际安装,大幅降低产线调试的停机损失。在服务机器人领域SimFoundry可以帮助家庭机器人公司构建各种家居环境的数字孪生,让机器人在虚拟家庭中学会开门、上下楼梯和避让宠物等日常生活技能。在物流机器人领域SimFoundry的衍生训练能力可以让机器人在虚拟仓库中学会应对各种异常情况。随着SimFoundry的技术成熟数字孪生技术将从少量的高端应用走向广泛的行业普及。