10月下旬,一个名为Mundo的世界模型在Hugging Face公开了技术说明。它的输入是同一个房间的几张照片或一段视频,输出的不是一段好看的视频,而是一个可以自由换视角、可以改物体、可以让机器人进去干活的场景。抽屉能滑开,苹果会飞出来,机器人走进来把包放在床上,这些动作由模拟器算,画面由视频模型渲染。
主流的世界模型走的是视频路线:给定起始画面与操作,逐帧预测接下来会发生什么。Mundo换了一条路,它把场景表示成一个显式的三维代理,布局与物体用包围盒描述,物理属性写成一段场景程序。世界以代码的形式存在,模拟器在这份代码上跑。
这个选择带来两个直接后果。第一是可编辑:想挪一张桌子,改的是参数,不是重新生成一整段视频。第二是可验证:包围盒的位置与尺寸可以拿去和输入照片比对,错了几厘米是能算出来的,而不是靠肉眼判断像不像。
渲染环节仍然用视频模型,但它的任务变了:把模拟器算出的状态画成画面,输入照片作为视觉上下文,负责材质、光照与纹理。也就是说,物理归物理,观感归观感,两件事被拆开了。
这和几年前的三维重建思路不一样。高斯泼溅与神经辐射场追求的是从任意视角还原得足够像,输出是一堆点或一组参数,好看但不好改,也不直接支持物理交互。Mundo 放弃了对细节的极致还原,换来的是一份能读、能改、能算的场景描述。
代价是材质与光照要靠生成补。盒子只给位置与尺寸,不给表面质感,画面里的木纹、布料褶皱、窗外的光都是视频模型根据输入照片推断的。推得准,看起来就真;推不准,就会出现与原始照片不一致的细节。
构建三维代理分两步。先用三维基础模型从输入视角恢复相机位姿与稠密几何,再用三维检测器给每个主要物体一个初始包围盒。到这一步,结果通常不够准,检测器会漏物体、贴错标签,盒子也放不到厘米级。
第二步靠代理。一个视觉语言模型代理在分析合成循环里工作:它编辑场景程序,在渲染引擎里按输入视角渲染代理,再拿渲染图和原照片比对,决定下一轮改什么。它还会在多个视角上标出物体边缘,交给优化器拟合盒子的位置、尺寸与朝向。
拟合有一个约束:只有在未参与拟合的那个视角上也对得上,这次修改才被保留。这个做法挡住了过拟合,也解释了为什么它比纯检测方案更准。每一轮之后还有一个独立的审阅代理,只检查不修改,检查完所有输入视角才放行。
循环有明确的停止条件:审阅代理接受结果、几何不再改善、或者触到编辑次数与时间上限。三条里任何一条成立就收工。这个设计避免了无限打磨,也让整个流程的时间成本可预估,对需要批量处理房间的服务更重要。
为什么不让一个代理既改又审,作者的答案藏在角色分工里。编辑者的目标是把问题修掉,天然倾向于相信自己的修改;审阅者没有修改权,只对着原图挑错,更容易发现改坏的地方。两种动机分开,循环才不会自我确认。
包围盒是对物体三维位置的一种够用表示。稠密重建能给出更细的形状,但会带来大量冗余,尤其在只需要判断空间关系的场景里。盒子还有一个好处:刚体仿真直接就能用,不需要再转格式。
代价是接触。精细操作,比如拧瓶盖、插插头,靠盒子算不出来,需要更细的几何。Mundo的处理是按需生成:只对参与精细交互的物体建粗略模型,或者调用三维生成模型,也可以直接从资产库里取现成资产,比如一个带物理属性的机器人模型。
按需生成这个策略很务实。全场景都做精细重建,成本高、速度慢,而大部分交互其实只关心东西在哪、能不能推开。把算力集中到真正需要接触的少数物体上,是工程上更省的分配方式。
资产库的另一层意义是标准化。同一个机器人模型在成千上万个场景里复用,它的质量、质量分布、关节参数就被反复验证过,仿真结果的可靠性随之提高。这比每个场景单独建一个机器人更接近工业实践。
同一个酒店房间的对比里,两个主流的检测式方案都漏了物体,有的盒子明显偏离目标,Mundo 的盒子贴合度更高。这类对比不能证明它通用,但能说明代理加优化的组合在复杂室内场景里确实有效。
视频路线的优势是观感好、上手快,一段提示词就能出片;劣势是难以精确编辑,也难以保证物理正确。代码路线相反,编辑与验证容易,观感要额外补。两条路目前服务的是不同需求,前者做内容,后者做环境。
对具身智能,后者的价值更直接。机器人在里面训练,需要的是物理一致、可重复、可批量生成的环境,而不是好看的画面。Mundo 把新物体加进场景、把机器人放进去跑任务,这两个动作正好对应训练数据的生产流程。
局限也要说清楚。它依赖输入视角的覆盖,没拍到的角落只能靠推断;材质与光照由视频模型补,极端光照下会失真;长时间模拟的漂移还没有公开的量化结果。这些都不是不可解的问题,但决定了它现在适合做原型与数据生产,不适合做验收级仿真。
评测也是个空白。三维场景生成目前没有像文本那样的统一榜单,重建精度、物理正确性、可编辑性、生成速度,各家用各自的指标,互相之间很难比。Mundo 给出的对比只覆盖同一房间下的盒子贴合度,样本量很小。
真正值得关注的是它把哪一步变成了可编程的东西。过去做机器人仿真环境,要美术建模、要手工摆场景、要调物理参数,一个房间要几天。如果从几张照片到可跑任务的环境能压到小时级,训练数据的产能就会变一个量级,这才是它对具身智能的实质意义。