英伟达近日开源了新一代手术世界模型Cosmos3-H-Dreams，把此前只面向桌面缝合任务的生成式机器人仿真，直接推到了真实临床手术场景。模型基于约150亿参数的Cosmos 3架构，用真实胆囊切除手术的视频与机器人运动学数据训练，可以根据机械臂的实时控制指令，持续生成器械运动、组织变形、遮挡变化之后的画面。官方测试里，单张RTX PRO 6000 Blackwell显卡上能跑到30fps，两步蒸馏版本达到43.2fps。
数据来自CMR Surgical的Versius手术机器人，筛选后保留64段胆囊切除录像，总时长约526分钟。这个规模按通用视频模型的标准看很小，但它的价值不在时长，而在同步性：每一帧画面都带着当时机械臂的位置、旋转、夹爪状态、电外科能量控制与摇杆操作记录。
正是这种逐帧对齐让动作条件成为可能。普通手术视频只能教模型"手术长什么样"，带运动学的数据才能教它"这个动作会导致什么"。前者是观察，后者是因果。这也是世界模型和视频生成模型的分界线：前者要求输入动作、输出后果，后者只要输出好看。
这种对齐的成本很高。普通网络视频没有动作标签，无法用于训练这类模型；而手术机器人的运动学记录属于厂商与医院的核心资产，轻易不外流。英伟达能拿到这份数据，本身说明合作深度远超一般的模型授权，这也解释了为什么第一个落地的场景是手术而不是更常见的仓储搬运。
模型接受28维双臂动作输入，覆盖左右机械臂的位置、旋转、夹爪开合、能量器械开关与摇杆操作。维度看起来不多，但每一维都对应真实手术里的一个操作意图：往哪走、怎么转、夹多紧、什么时候通电。
输入维度决定了模型能回答的问题范围。它能回答"如果我把这一钳往左移两厘米会看到什么"，不能回答"如果病人血压下降会怎样"。前者是操作训练需要的，后者是临床决策需要的。把边界划清楚，才不会把仿真环境当成手术预演。
动作维度的设计还有一个工程好处：控制信号直接来自主手或摇杆，不需要额外的动作捕捉设备。培训场景里，医生在操作台上做的每个动作都能原样喂进模型，画面随之变化，形成"手怎么动、屏上怎么变"的即时反馈回路。这套闭环的延迟只要低于人的感知阈值，训练体验就接近真实。
训练分两步。先训一个能预测较长视频序列的双向教师模型，它看得到前后文，所以画质与一致性更好，但没法实时用。再通过因果教师强制与自蒸馏，把能力压进只能看过去的因果学生模型，让它根据持续输入的动作分块生成视频。开放的是四步与两步去噪两个版本，后者以一定画质损失换更快推理。
配套的工程组件同样关键。FlashDreams推理框架负责把生成流水线跑满，FadeMem缓存机制负责在连续生成时复用历史状态，避免每个新块都从头算一遍。没有这两层，30fps只是实验室数字，接不上真实控制回路。
蒸馏的代价也很明确。双向教师能看到未来帧，学生只能看过去，压缩过程中丢掉的主要是长程一致性，表现为生成时间一长，画面里的组织形态会缓慢漂移。四步版与两步版的画质差距，本质就是这个漂移速度的差距。
官方展示用VR头显控制器操作机械臂。从同一张初始内窥镜画面出发，走不同的动作轨迹，生成的器械位置、组织牵拉、遮挡效果都不一样。这个演示看似平淡，实际是整个方案能否成立的核心证据：如果输出与动作无关，它就只是个视频播放器。
对做机器人策略的团队，这意味着多了一个可反复演练的测试环境。真实手术数据稀缺且昂贵，一次失败的成本无法承受，仿真里可以跑上千次。更重要的是它能记录每次交互的状态，抽屉被拉开、组织被推动、器械发生碰撞，都是有轨迹、有接触位置、有碰撞力的物理事件，而不是模型脑补出来的画面。
三点缺口需要说清。第一是触觉，现有输入是运动学与视觉，力反馈没有进入条件向量，而手术里"手感"往往决定是否继续。第二是出血与突发，526分钟的素材里，并发症与意外情形的比例大概率很低，模型对罕见事件的生成能力无法保证。第三是个体差异，64段录像来自有限的患者与术式，换一种解剖结构或病理状态，生成结果的可信度会下降。
这三点都不是靠加参数能解决的，得靠数据。英伟达把权重与代码开放出来，某种程度是在邀请医院与器械厂商贡献数据。这条路能不能走通，取决于数据共享的责任划分能不能谈清楚，而这件事比模型本身难得多。
过去两年视频式世界模型的短板已被反复验证：画面可以逼真，物理一致性却不可靠，悬浮的物体、不守恒的水流、穿模的机械臂屡见不鲜。行业的应对正在收敛为混合路线，显式表示负责几何，物理引擎负责运动与碰撞，视频模型负责外观呈现。
手术这个场景的特殊性在于，它对几何精度的要求高到无法用"看起来像"糊过去。组织变形必须符合力学，器械与组织的接触必须真实，遮挡关系必须正确。英伟达选这个场景做验证，等于给自己挑了一块最硬的试金石。开源之后，这块石头会被更多人拿去试。