uniform
扩散语言模型之争有了理论裁决: masked 之外的两派突然追平,还各有胜场
💡 一句话总结 :自回归模型一个 token 一步太慢,「扩散式并行生成」被认为是大模型的未来——但扩散内部又分三个流派(masked / uniform / Gaussian),谁最可并行一直靠跑分感觉。清华的理论工作第一次给出渐近级裁决:被看好的 masked 扩散在特定条件下需要 d 步,而 uniform/Ga…
💡 一句话总结 :自回归模型一个 token 一步太慢,「扩散式并行生成」被认为是大模型的未来——但扩散内部又分三个流派(masked / uniform / Gaussian),谁最可并行一直靠跑分感觉。清华的理论工作第一次给出渐近级裁决:被看好的 masked 扩散在特定条件下需要 d 步,而 uniform/Ga…