过去两年视频生成的主流做法，是先训练一个变分自编码器把画面压进低维潜空间，再让扩散模型在潜空间里干活，最后解码回像素。这套结构解决了显存与算力问题，也把三个隐性成本写进了系统：高分辨率变贵、响应变慢、解码引入误差。一篇题为Back to Pixels的论文提出另一条路：不要潜空间，直接在像素上建模。作者来自Roblox与加州大学默塞德分校、宾夕法尼亚大学、得克萨斯大学奥斯汀分校，方法基于对Wan2.1-14B的微调。
压缩带来的三笔账
第一笔是分辨率。潜空间里的每一帧被压成固定数量的词元，分辨率越高，需要的词元越多，成本随分辨率平方增长。想要960p，通常在词元预算上要付出四倍代价。第二笔是响应。用户改一句话或者动一下镜头，模型要重新在潜空间里生成一段轨迹再解码，延迟被拉长，交互式编辑因此很难做到即时。第三笔是误差。编码器与解码器都是有损的，压缩会抹掉细小纹理，解码又会凭空补一些细节，最终画面在近景与高频区域容易显得糊或者塑料。
这三笔账在短视频场景里还能接受，因为观众对一两秒的画面容忍度高。但一旦进入需要反复调整的创作流程，或者进入需要按帧响应的交互场景，累积的成本就变得很难忽略。像素空间路线的动机不是追求理论优雅，而是想把这三笔账一起消掉。
没有VAE，模型要自己学会看
去掉VAE，意味着模型要直接处理高维像素，计算量按道理会暴涨。论文的做法是把生成单位从整帧改成逐帧，并把模型对时间与空间的注意力重新分配，使得每帧消耗的词元数与潜空间方案相当。这样做的代价是模型必须在像素层面自己学会什么该保留、什么可以粗略，相当于把编码器原本承担的抽象工作转移给了主干网络。
这条路并不新，图像领域早有类似尝试，但视频把它推到极限，因为时间维度让误差会累积。一帧生成得略微偏色，下一帧会以它为条件继续偏，几十帧之后整段画面的色温就漂了。论文报告的结果是这些漂移在可接受范围内，但任何做过多帧一致性的人都会先问一句：这是在多少个样本、多长的片段上测出来的。这个问题的答案，决定了它能不能用于长镜头。
960p卖480p的价，这句话该怎么读
论文给出最直观的一个数字：在每帧词元数相同的前提下，分辨率可以做到两倍，也就是960p的算力账单接近过去的480p。这个说法有前提，它比的是词元数，不是实际耗时。像素空间的注意力计算密度更高，实际每秒处理的帧数可能低于潜空间方案，最终成本取决于实现优化与硬件。
即便如此，方向仍值得关注。视频服务的定价通常按秒与分辨率分档，如果同样预算能交付更高分辨率，中间层的价格体系会被压缩：原来靠降分辨率省钱的档位失去意义，客户会直接要求高清。对提供API的厂商来说，这会变成一次被迫的升级；对做垂直应用的团队来说，这意味着以前只能出480p草稿的场景，现在可以出接近可交付的画质。真要把这句话用进报价单，最好等第三方在别人的机器上复现一次。
下一帧就响应，意味着交互成为可能
论文强调的另一个特性是时序响应：模型对动作的反应发生在下一帧，而不是等整段生成完再回放。这一条对交互式创作的意义大于分辨率。现在的视频工具大多是提交任务、等待、预览、重来的循环，用户在这段时间里只能凭想象判断结果，因此倾向于保守，改得少、试得少。如果反馈能压到帧级，创作方式会向绘画靠拢：一边看一边改，试错成本降到几乎为零。
帧级响应也打开了另一类应用：实时渲染式的镜头控制。导演在虚拟场景里推动虚拟摄像机，模型即时补出画面，这种做法过去依赖游戏引擎，现在多了一条生成式的路径。实时与高质量天然矛盾，要在延迟与画质之间做取舍，取舍点在哪里取决于具体产品愿意牺牲什么。可以确定的是，只要延迟能压到肉眼可接受的范围内，交互方式就会从提交任务变成操纵画面，这对工具设计和算力调度都是全新的要求。
这条路的天花板
第一是显存。像素空间的中间激活值比潜空间大得多，即使词元数相同，内存占用仍会更高，能跑多长的片段、多大的分辨率，受限于单卡容量。第二是训练成本。潜空间方案之所以流行，很大程度是因为训练更便宜，像素路线要用更多算力换同样的效果，小团队很难复制。第三是生态。编码器与解码器不只是压缩工具，它们还承载了社区的微调资产，大量LoRA与风格模型都建立在特定VAE之上，换一条路线等于放弃这批资产。
所以短期更现实的判断是：像素路线会成为一条并行分支，先在实时交互、草稿预览、机器人视觉这些对延迟敏感的场景里落地，而不是立刻取代主流管线。等它在长镜头一致性与训练成本上给出更多数据，行业才会认真考虑迁移。这也是技术演进的常态，路线之争很少靠一篇论文定胜负，靠的是一批产品在真实场景里跑出来的账单。
谁最该盯这篇论文
三类人值得读原文。做视频工具的团队，因为它直接影响延迟与分档定价的设计；做机器人视觉与具身智能的团队，因为帧级响应正是控制回路需要的特性，而像素空间的输出可以直接和传感器画面对齐；做推理加速与显存优化的工程师，因为像素路线的瓶颈几乎全在内存带宽与注意力实现上，把这块做扎实的团队，更容易握住下一条路线的入场券。
对普通创作者而言，这篇论文暂时不会改变手上的工具。但它提示了一件事：现在视频生成的很多限制，比如只能出几秒、只能出低分辨率、改一次要等很久，并不是物理定律，而是当前技术选型的副产品。选型会变，限制也会跟着松动。真正该做的是把手上的流程拆开看，哪些环节是被延迟卡住的，哪些是被分辨率卡住的，等对应的能力落地时，第一批受益的总是提前想清楚怎么用的人。
