字节跳动Seed团队发布实验性扩散语言模型Seed Difusion Preview。 验证离散扩散技术作为下一代语言模型基础框架的可行性, 通过“两阶段课程学习”(从局部补全到全局编辑)、“约束顺序训练”(引入代码结构先验)、“同策略学习优化并行解码”等技术,解决了扩散模型在语言任务中的两大难题:归纳偏置冲突与推理效率瓶颈。 在代码生成任务中,Seed Diffusion Preview 实现了 2146 tokens/s 的推理速度,比同规模自回归模型快 5.4 倍,同时保持甚至超越其生成质量,尤其在需要全局规划的任务(如代码编辑)中表现更优。