字节跳动Seed团队在9月11日公开的论文中提出了一种名为VoT的视觉思维层，在视觉语言模型与扩散解码器之间插入一层离散的视觉token，让模型先自回归地规划要画什么，再去渲染像素。论文题为《VoT: Vision-of-Thought for Unified Multimodal Representation Alignment》，目前代码尚未开源。
它试图解决的是当前文生图系统一个长期存在的落差：模型知道要画什么，却常常画不准。论文把原因归结为两个结构性缺陷，并给出了一个在表示层动手的解法，而不是继续堆叠模型规模或增加采样步数。
当前文生图系统普遍采用文本编码器加扩散解码器的范式，文本语义通过静态嵌入或键值缓存直接调制连续噪声。这带来第一个痛点，也就是模态鸿沟：视觉语言模型里丰富的结构化世界知识，难以通过静态条件有效传递给扩散解码器，模型理解得越深，传导过程中的损耗反而越明显。
第二个痛点是分词器失配。传统的向量量化自编码器面向图像重建优化，产出的是像素码而不是语义单元，码本的统计特性呈现重尾分布、邻域语义弱相关，让自回归建模变得不稳定，理解与生成因此难以统一到同一套表示上。计数、空间关系这类组合性约束是受影响最严重的区域。论文对这两个痛点的定位很清楚：它们不是模型规模不够造成的，而是表示层设计带来的结构性损耗，因此单纯把底座换得更大并不能自动解决问题，反而可能因为参数更多而让条件传导的损耗更难定位。
VoT的解法是不量化原始像素，而是量化冻结的视觉编码器特征。论文使用Qwen2.5-VL-7B的视觉编码器输出，配合SimVQ量化器，码本规模为六万五千五百三十六乘一百二十八，配置六层解码器。这样得到的token承载的是语义信息，而不是像素细节，码本分布也更适合自回归建模。
训练目标由三项损失构成。视觉语言模型对齐损失让模型能够读懂量化后的token，做法是对配对描述做语言模型交叉熵；特征重建损失负责恢复教师视觉编码器的特征空间，保留稠密视觉信息；向量量化损失用于稳定码本学习。前两项互补，对齐提供语言锚定的监督，重建提供信息保真的约束。实验还发现教师模型越大，token质量与下游对齐效果越好。三项损失的权重需要仔细调节，因为对齐损失过强会让token过度贴近语言空间，丢失几何细节；重建损失过强则可能让token退化成像素码，回到分词器失配的老问题上，论文把两者的组合视为核心。
插入视觉思维层之后，模型会先在离散空间里生成一串高级视觉计划，涉及物体、布局等结构性信息，再交给扩散解码器渲染像素。这个顺序让视觉语言模型的推理能力真正传导到了生成环节，而不是停留在文本提示的层面，两个原本割裂的模块因此有了共同的中间语言。
这一思路的意义在于把理解与生成放进同一套离散表示。当视觉计划以token形式显式存在，它就可以被检查、被编辑、被重排，模型对计数与空间关系的把控也从隐式条件变成了显式结构。对需要在生成前做规划的场景，比如海报排版、多物体组合、需要保持数量正确的画面，这种中间表示提供了可干预的入口。从工程角度看，视觉计划的引入还带来一个附带好处：当生成结果不符合预期时，开发者可以先检查中间计划是否出错，再决定是调整提示词还是修改计划本身，而不必像过去那样只能反复重抽，排查路径因此清晰了许多。
与把文本提示直接送入扩散模型的路线相比，VoT增加了一层计算开销，但换来的是可解释的中间状态。与把图像切成离散token、完全用统一自回归建模来生成的路线相比，VoT没有把生成任务全部压到语言模型上，而是保留了扩散解码器在像素质量与纹理细节上的既有优势。
这也解释了论文为什么把重点放在表示对齐而不是模型规模上。当底座已经具备足够的视觉知识，瓶颈往往出现在知识如何跨模态传递，而不是知识是否充足。视觉思维层正是在这个传导环节上加了一道结构化的通道，让已有的理解能力不至于在进入生成阶段时被稀释。这也意味着视觉思维层的收益会随底座能力提升而放大。当视觉语言模型对世界的理解继续加深，可被传导的结构化信息也随之增多，而一个设计良好的传导通道会把这些增量直接转化为生成质量。
需要说明的是，VoT目前尚未开源，论文也只给出方法与实验结论，缺少可直接复现的工程细节。字节跳动的图像模型已经迭代到5.0系列并在多个平台上线，VoT更像是为下一代模型储备的技术路线，而不是即将发布的产品功能。
从行业趋势看，把思维链从文本扩展到视觉，是今年多模态研究里一条清晰的主线。无论是让模型先生成布局草图，还是先规划镜头与物体关系，思路都在于把不可控的端到端生成拆成可干预的中间步骤。VoT给出的答案是离散视觉token，这条路能否走通，还要看它在真实生产场景中的稳定性与成本表现。对关注技术路线的团队来说，这篇论文提供的是一个思路而不是一个可直接调用的组件：在理解与生成之间插入一层可检查的显式表示，可能是解决语义对齐问题成本最低的方向之一，值得在自研流程里做小规模验证。