三维生成这条路,近几年几乎都按同一个流程走:先把形状压进一个紧凑的隐空间,再让扩散模型在隐空间里生成,最后靠解码器还原成网格。压缩带来效率,也带走了细节,因为解码器只能还原被保留下来的那部分信息。11月挂在预印本平台上的一篇论文换了个做法,名叫Direct3D-V3,把变分自编码器整个拿掉,直接在原生体素的有符号距离场上做扩散,训练和采样都发生在同一层。
这套流程的合理性一直建立在成本上。高分辨率的三维体素密度太高,直接在体素上做扩散几乎无法承受,于是研究者把形状压成向量集合、三平面或结构化稀疏体素,让生成器在一个小得多的空间里工作。近两年的进展集中在两件事:把自编码器练得更强,把隐表示设计得更精细。
论文的判断是,这些方案架构不同,前提相同,都默认几何必须先被压缩。而只要经过一次压缩与解压,局部细节就会在往返中损失。头发丝、轮胎花纹、机械件的倒角这类高频结构,恰好是最先被抹平的部分。
他们给出的替代方案是把整个压缩环节去掉,让扩散变换器直接建模原始的SDF体素网格。听起来只是少了一步,实际上是把训练目标从重建隐表示改成了重建几何本身,评价标准也随之从隐空间误差变成了网格表面的误差。
这条路线的代价写在实验设备上。论文在1536的三次方原生分辨率上做建模,需要靠稀疏注意力把计算量压下来,实验用的是A800级别的显卡。分辨率不是免费的,它是拿显存和算力换来的。
1536的三次方意味着单个体积网格里有三十多亿个格点,绝大多数是空的。稀疏注意力只对可能落在表面附近的体素块投入计算,这是把原生分辨率做得起来的关键工程手段。
在GSO基准上,Direct3D-V3拿到了0.0131的倒角距离,是论文对比范围内最好的成绩,F1分数也领先,比较对象包括TRELLIS与CUPID这类走隐空间的方案。倒角距离衡量的是生成表面与真实表面之间的双向最近点距离,数字越小,形状贴得越准。
更有说服力的是用户研究。论文称在几何质量的对比中,被测试者明显更偏好这个模型的结果,理由集中在细密结构上:发丝、轮胎纹路、复杂机械件。隐空间方案在这些位置倾向于糊成一片,原生体素方案能把它们分开。
对齐度也做了改进。模型额外预测输入图片的相机参数,作为一项辅助任务,逼着网络去学从二维观察到三维形状的映射关系。图片和生成的模型不再是各说各话,相机姿态成为两者之间的桥。
直接在体素上建模会遇到一个老问题:生成的SDF场经常不闭合,表面出现孔洞或者薄片。隐空间方案通常在解码后做一次网格修复,属于事后补救。
这篇论文的做法是把水密性写进损失函数,提出隐式流形正则,对相邻体素之间突兀的SDF跳变施加惩罚。跳变被压住,生成的场就更接近一个连续函数的采样,等值面自然闭合。
网格化用标准的Marching Cubes,把预测的SDF网格转成三角网格。因为有了网格,就可以渲染法线,用渲染出的法线与真实法线之间的差异直接监督模型,这条监督信号穿透了体素表示,作用在最终看见的表面上。
这套组合让模型具备了生成式重建的能力。拿到一张图,先让模型给出初始的SDF猜测,再沿着法线方向微调SDF值,让渲染出的法线吻合输入图像,而未见区域仍然由生成先验补全。生成和重建在同一个表示里交替进行,不需要切换模型。
相机分支的意义不只是对齐。它让模型具备了判断这张图是从哪个角度拍的,从而知道哪些面被看到了,哪些面需要靠常识补。对重建任务来说,这个判断是必需的。
在实验里,法线引导的细化能把初始猜测往输入视图上拉,同时保持其他部分不被破坏。这种做法的实用价值在于局部:扫出来或拍出来的模型总有一处不准,传统流程要重新生成整个模型,而这里只调整那一块的SDF值。
论文也承认这种做法依赖第一阶段的判断。模型要先生成一个粗糙的体素块索引,告诉第二阶段哪些区域可能存在表面;如果第一阶段漏掉了某个部件,第二阶段无法把它找回来。这是两阶段结构留下的接口风险。
把它放到实际工作流里看,价值最高的场景是逆向。手里只有几张照片的实物,或者只有一个扫描得不太准的旧模型,传统做法是重新扫描、重新建模;有了生成式重建,可以先让模型补出一个完整猜测,再用视图去校正看得见的部分。对文物数字化、零件复刻这类缺数据又要求形状合理的任务,这条路径省下的主要是人工修模的时间。
最直接的边界是材质。Direct3D-V3只输出几何,不生成纹理、材质与基于物理的渲染属性。论文把扩展体素通道以容纳这些信息列为后续方向,也就是说,现在拿到的仍然是白模。
对做游戏资产或电商展示的人来说,白模只是第一步。真正花时间的是贴图、材质和打光,这部分工作没有因为几何变好而减少。几何精度的提升,改变的是后面几步的起点质量。
算力门槛同样现实。原生高分辨率带来的开销,使得这套方法在短期内更适合放在服务器上做批量生产,而不是塞进一台笔记本。它更像一次方向性的证明:压缩不是唯一的路,把压缩去掉,细节能回来,代价可以量化。
对行业来说,这条路线的意义不一定是被直接采用,而是提供了一个对照。过去讨论三维生成的进步,多数指标都在隐空间里比,读者很难判断这些数字和最终的模型好不好用有什么关系;换到原生表示之后,评价标准回到了网格本身,倒角距离、水密性、法线误差都可以直接对齐下游工具。这个统一,比某一项分数更有价值。