淘天AptAvatar把数字人视频压到两步,单片段推理快60倍

首页 / AI资讯 / 数字人

0:00
0:00
1x
定时

10月29日,阿里巴巴淘天集团TaoLive AIGC团队公开了数字人生成框架AptAvatar。它的定位是"面向业界即用",也就是不追求榜单第一,而是先把速度、动作丰富度与画面稳定性这三个互相牵制的要求同时压到可生产的水平。官方给出的核心数字是:每个视频片段的生成压缩到两步,单片段模型前向评估次数从120次降到2次。

120次前向评估压到2次,60倍是这么来的

多步扩散生成数字人视频,每一步都要把整段潜变量过一遍网络,120次前向评估意味着同一个片段要被反复计算120遍。AptAvatar把这套流程压到2步,按论文口径,核心推理计算量下降约60倍。这个数字对应的是模型前向的计算量,不是端到端出片时间,两者之间还隔着编解码、音频对齐与后处理。

两步生成的技术前提是蒸馏。先用完整的多步模型作为教师,把它的输出分布压进一个两步的学生模型,再用偏好校准把质量补回来。这条路线在图像与视频上都被验证过,难点在于数字人视频对细节极其敏感:嘴唇的开合、眼神的移动、手指的姿态,任何一处抖动都会被观众立刻察觉。

这也是为什么它的参数没有大幅缩水。模型保留140亿参数与720p生成能力,说明团队选择的是"压步数但不减容量",而不是"用小模型换速度"。这个取舍很关键:数字人视频的失败往往是细节失败,容量砍下去,首先坏的就是手和嘴。

还有一层工程上的意义。多步生成的瓶颈不只在算力,还在排队与调度,一次生成要占住显存几十秒到几分钟,高并发时客户的视频会堵在队列里。把步数压到两步,同一张卡在同样时间里能服务的请求数成倍增加,这对按条计费的商业产品是直接的成本结构变化,比单纯的延迟数字更重要。

14B、720p,先把"能用"的门槛守住

720p在今天的视频生成里不算高。Sora级别的产品已经在做1080p甚至4K,视频模型的营销口径动辄2K。但对数字人这条线,720p是经过计算的选择:口播与讲解类内容的主要分发场景是手机竖屏与网页内嵌,720p铺满手机屏幕已经够用;而每一档分辨率的提升,推理成本是数倍增长。

14B的参数量同样是个平衡点。再往上,单卡放不下,部署成本会把中小客户挡在门外;再往下,人脸的结构先验不够,长视频里容易出现五官漂移。淘天把这个尺寸作为"业界即用"的基准,实际上是在为批量部署做预设,而不是为刷榜做预设。

输入形式有三种:人物参考图、语音、文字动作提示。参考图决定形象,语音决定口型与节奏,文字提示决定动作。把动作从语音里解耦出来,是一个实用设计。真人说话时的手势往往与内容相关,介绍衣服会展开衣物,讲参数会用手比划,单靠语音驱动是推不出这些动作的。团队在展示里给出的例子就是服装讲解:数字人一边说一边展开衣物、展示细节,再自然收回双手,这类动作序列没法从音频波形里反推。

几十秒到几分钟的讲解,最怕中途换脸

数字人视频真正的工程难点不在单帧质量,在长时一致性。一段三分钟的商品讲解,人物的面容、服装、背景、光线都要前后连贯,中间任何一次跳变都会让观众出戏。逐片段生成的做法很容易在片段拼接处露出破绽:上一段的发丝方向与下一段不一致,或者衣服褶皱突然变了。

AptAvatar的做法是把长视频拆成片段,但让片段之间共享人物与场景的表示,官方展示了300秒与1000秒的长时生成效果,分钟级的量化评估则用1分钟视频来做。这个评估口径的差异值得注意:展示用长视频证明"能撑住",量化用短视频保证可比性,两种情况不能混着看。

生成结果覆盖写实人物与风格化角色两类。写实侧对应服装展示与长视频讲解,风格化侧给出水墨3D与新艺术3D两种美术方向,用于商品介绍、知识讲解与品牌内容。风格化其实是个聪明的切入点:观众对卡通化角色的容错度高,对真人脸部的容错度极低,同一套模型在风格化场景里更容易达到"可发布"的标准。反过来,写实侧每一处瑕疵都会被放大,这也是它必须把长视频一致性当成核心指标的原因。

StreamEval第六名,说明它还没到第一梯队

在StreamEval榜单上,AptAvatar 14B以75.01分的综合得分位列第六。这个榜单由清华大学、英伟达、CMU、UC Berkeley、普林斯顿、新加坡国立等机构联合发起,覆盖数字人对话、虚拟人表演、世界生成、指令编辑与参考编辑五类任务,共300个测试用例、38个模型参与。它的特点是不只测生成质量,还把指令执行、状态一致性、视觉质量与音画协调放进同一套评分体系。

第六名是个诚实的位置。它说明这套方案在速度上有明显优势,在综合质量上还没追上头部。对做生产工具的人来说,这个组合未必是坏事:一条三分钟的视频,如果生成时间从几小时压到几分钟,即便画质差半档,在批量出稿的场景里也可能更划算。

真正的分水岭会在成本表上出现。数字人视频的成本结构里,算力占大头,人工修改占另一块。两步生成把算力这块砍下来,但如果生成结果需要大量人工返工,省下的钱会从另一头花出去。所以接下来要看的不是榜单名次能不能往前挪,而是客户在真实项目里愿不愿意用它出终稿,而不是只用来出草稿。

素材来源:网易智能、新浪科技、淘天TaoLive团队 发布时间:2026-10-30