谷歌世界模型学会自己当导演,Genie 4能把一个场景撑两分钟

首页 / AI资讯 / AI建模

0:00
0:00
1x
定时

10月27日,谷歌DeepMind发布新一代世界模型Genie 4,以研究预览形式先向一小批受信任测试者开放,之后几周内扩展到Google AI Ultra订阅者与Gemini API、AI Studio的早期合作伙伴。官方给出的三个关键变化是:更逼真的画面、最长两分钟的场景一致性、以及第一次能同时生成声音。但真正值得拆开看的,是它把"生成"和"调度"分成了两层。

两分钟与原生音频:两个门槛被同时推高

上一代Genie 3能维持的场景时长约一分钟,Genie 4把这个上限翻倍到两分钟。在视频生成里,时长是次要指标;在可交互世界模型里,时长几乎等于可用性。用户用键盘在其中行走、转头、改变天气,任何一次操作都可能让画面漂移,撑得越久,说明模型对空间与因果的记账越稳。

音频是这一代新增的能力。环境声、音乐、以及角色之间能够对用户行为作出反应的对话,都由模型直接生成,而不是后期配。官方演示里给出的例子包括湖面风声、水声与萨克斯的现场演奏,强调这些声音不是贴上去的音轨,而是与画面同步产生。

把音频做进世界模型,难度不只在音质。声音要跟着视角变化,走到喷泉边水声变大,转过头声场跟着转,这要求模型对空间的几何有一致理解。此前已经有团队专门攻这一层,港科大与Noiz AI的Helix World就把原生空间音频与实时生成做在了一起。Genie 4的不同在于,它没有把音频当作独立模块,而是与画面共用同一套世界状态。

需要说明的是,官方承认这些能力都还没完成。视觉细节在长时会话或复杂编辑之后会漂移,物体在用户移动后可能不再保持一致,物理、音频准确度、画面内可读文字与空间精度都被列为未解决问题。所有生成内容会带SynthID水印,用于标识AI生成。

Gemini当导演:世界模型开始分层

这套系统最值得研究的地方,是它不再把"理解用户意图"和"渲染下一帧"交给同一个模型。Gemini Omni负责把模拟锚定在真实世界的外观与行为上,其他Gemini模型提供维持连贯性所需的推理;而实际在实时体验里驱动流程的,是较轻量的Gemini 3.8 Flash。

它的工作是当导演:观察不断传入的画面,理解用户想做什么,把目标拆成一系列步骤,再核查每一步是否已经完成,然后调整计划。用户输入一句"把天气换成雨",这句提示不会直接被丢给渲染器,而是先被结合周围场景做适配,再转成可执行的动作序列。

谷歌研究总监Tejas Kulkarni把这种结构称为混合世界模型:Gemini负责写代码与文本,Genie实时接收并模拟不同抽象层次的现实。这句话透露了路线判断,未来的世界模型不是一个越来越大的端到端模型,而是上层负责规划、下层负责渲染的分工体系。

分工带来一个副作用。渲染器只对"当下这一刻"负责,长时一致性就要靠导演层去记账:刚才那栋楼在哪、那个人穿什么颜色的衣服、门是不是开着。这类记忆用文本或结构化状态保存,比塞进模型的隐状态更容易检查,也更容易出错。两分钟的上限,某种程度上就是这套记账能撑住的长度。

谁在用:分镜预演比游戏更早落地

官方给的商业用例是老三样:游戏、互动学习、机器人训练。可信测试者的反馈却指向一个更早落地的场景:电影与广告的分镜预演。谷歌工程师Diego Rivas的说法是,实时性在有创意流动的地方最有价值,比如构思阶段与分镜阶段,需要快速把想法看见的时候。

这与传统视频模型形成了明确分工。Veo这类模型负责产出可剪辑的高清片段,Genie 4负责在还没决定要拍什么的时候,让人先走进去看一眼。前者按秒计费、追求成片质量;后者追求反馈速度,允许画面不完美。对导演来说,能在一个场景里转身、换机位、加一个人,比生成一段漂亮的固定镜头有用得多。

机器人方向也在试。在与Gemini Robotics相关的一项研究实验里,Gemini 4 Argon把任务拆成步骤,由Genie 4实时模拟。这展示了一种可能:先在模拟里把机器人场景跑一遍,再放到真实世界。但官方也承认,这类用途能否被广泛采用还不清楚,仿真与真机之间的差距仍是老问题。

游戏行业的反应值得记一笔。今年1月谷歌用Genie 3驱动Project Genie原型时,游戏股曾大幅下跌,投资者开始评估这类工具会不会颠覆游戏制作。这一次的发布没有引发同样的震动,一部分原因是能力仍锁在预览阶段,另一部分原因是行业已经把它当成生产工具而非替代品。

分发方式透露的判断

Genie 4没有直接开放API,而是先给受信任测试者,再通过Google AI Ultra订阅与Gemini API早期合作方逐步放开。这条路径与谷歌近一年的大模型发布节奏一致:先在小范围收集反馈,再按订阅档位分层释放。

放在竞争格局里看,世界模型这条赛道正在快速聚拢。Runway几周前发布了第二代世界模型,李飞飞的World Labs被AMD收购,亚马逊在洽谈收购Decart,Rivian则收购了Third Dimension把仿真能力搬回内部用于自动驾驶测试。买方从实验室变成了车企与芯片厂,说明这类模型的估值逻辑已经从"能不能生成"转向"能不能用于训练与验证"。

谷歌的位置比较特殊。它在多模态上的积累让它能把Gemini的推理直接接进世界模型,别人要额外拼一套。但它也面对一个尴尬:世界模型至今没有清晰的收费模式,按订阅卖等于把它当成内容工具,按API卖又要面对推理成本。Genie 4先做预览,某种程度上是在等这个答案。

素材来源:Google DeepMind官方博客、财联社、搜狐科技、iClarified 发布时间:2026-10-28