让AI生成的视频走得再远一点，就会暴露一个尴尬的毛病：失忆。镜头绕房间走一圈再转回来，墙的位置变了，沙发飘到了窗边，背景悄悄扭曲。清华大学与蚂蚁集团、香港科技大学的研究团队给这个老毛病开出了新药方，他们提出的PPMem视频世界模型，把看过的场景压缩成一层轻薄的平面记忆，让生成的镜头随时可以回头核对。论文已于10月16日挂在arXiv，并被NeurIPS 2026接收。
先把问题本身看清楚。视频世界模型的目标是让模型理解并生成可探索的三维环境，镜头在场景里连续运动，画面随之展开，这是可漫游的生成式场景、机器人仿真与影视预演的共同底座。但扩散模型按段生成画面，每段之间缺乏对已生成几何的持久记录，镜头走得越远，累积误差越大，空间漂移与背景扭曲几乎必然出现。已有方案的思路大致两类：一类用点云或体素存几何，精确但体积庞大，长序列下内存难以承受；一类靠隐式记忆条件化，省空间但几何不显式，模型自己也说不清场景里有什么。PPMem的主张是第三条路：真实世界中室内外场景的主导结构本来就是墙面、地面、立面这些平面，用平面作为记忆的载体，既紧凑又天然贴合场景语义，走回头路时，模型手里握着一张自己画过的地图。团队给这类问题起的名字很直白：持久记忆。生成式模型每一段画面都是独立的创作，段与段之间没有天然的账本，前一帧盖起来的房子，后一段的模型并不知道，漂移与扭曲正是账本缺失的必然结果。
PPMem的每一个记忆单元是一个有朝向的三维矩形，仅用7个参数描述：位置、姿态与尺寸。整个场景的平面池通常累积到约10万个基元，体积只有5MB上下，相比逐像素的点云表示紧凑了三个数量级。这个极简设计带来三个直接好处。其一是几何显式，每个平面自带公制深度与法线，还能直接导出成可编辑的表面，下游的仿真与渲染管线拿去就能用；其二是跨视角一致，平面由视频主干与几何分支联合预测，不同镜头看到的是同一份记忆而不是各自的想象；其三是自适应精炼，平面池的维护不依赖梯度优化，靠遮挡删除、质量去重与前瞻剪枝三道工序滚动进行，观察得越充分，估计越可靠，过时的低质量平面会被更好的观测替换掉。算术上的极简换来了工程上的自由，记忆不再是模型的包袱，而是越用越准的资产。选择平面还有一层工程考量：平面参数虽少，表达力却覆盖了绝大多数人造环境，从客厅到写字楼再到街道立面，主导结构几乎都由平面拼接而成，曲面物体占比有限，牺牲一点表达精度换来三个数量级的体积优势，是一笔划算的交换。
架构上，PPMem没有另起炉灶，而是给Wan2.2-TI2V-5B这个50亿参数的视频扩散Transformer加了两件外挂：平面预测头与深度词元融合模块。生成以约25帧为一段推进，每一段同时产出两路输出，一路是正常的RGB视频，另一路是该段画面的平面几何；新平面合并进持久平面池后，池子被渲染成深度图，作为下一段生成的条件输入。生成、记录、回读的闭环就此形成：模型每画一段，就更新一次地图，画下一段时先看地图再动笔。训练策略同样分工明确，第一阶段先微调视频主干做相机可控生成，让模型学会按预定轨迹运动；随后冻结视频主干，用LoRA独立训练几何相关的组件，两套能力互不干扰。数据侧使用了超过8万个来自DL3DV与RealEstate10K的真实场景片段，分辨率576×1024，深度参考来自MoGe-2并与VGGT的三维重建对齐，训练中还刻意遮挡部分深度输入，逼模型学会从稀疏线索推断完整几何。这种边生成边记账的机制两阶段的设计也控制了训练成本，视频主干无需重复预训练，几何分支的数据需求相对聚焦，整套流程对算力预算有限的实验室相当友好。，与即时定位与建图领域的思想遥相呼应，只是这里建图的主体从激光雷达换成了扩散模型的内部表征，硬件成本更低，部署形态也更轻。
成绩单是扎实的。在DL3DV与RealEstate10K两个基准上，PPMem在短上下文生成的全部视频指标上取得最优，对比对象包括Gen3C、Voyager、VMEM、SPMem等一批3D增强的世界模型，而它用的底座比部分对手更小；在300至400帧的长序列测试里，画面感知质量保持稳定，大视角变化下场景结构不再崩坏。应用位也清晰：可自由漫游的生成式场景、具身智能的仿真环境、影视与游戏的前期预演，都是这套能力直接对口的场景。冷静看边界同样必要：平面基元擅长墙面地面这类结构性元素，动态物体与人物交互仍然是难题，记忆池对剧烈形变的场景表达能力有限；论文是学术成果，推理成本与产品化路径还有待团队或社区进一步验证。但方向上的价值已经明确，世界模型的竞争正在从单段画质转向长程一致性，让生成的内容记住自己走过的路，是可交互生成世界的前提条件，PPMem给出了一份足够轻的答案。