#扩散语言模型

avatar
sitin
1周前
字节跳动Seed团队发布实验性扩散语言模型Seed Difusion Preview。 验证离散扩散技术作为下一代语言模型基础框架的可行性， 通过“两阶段课程学习”（从局部补全到全局编辑）、“约束顺序训练”（引入代码结构先验）、“同策略学习优化并行解码”等技术，解决了扩散模型在语言任务中的两大难题：归纳偏置冲突与推理效率瓶颈。 在代码生成任务中，Seed Diffusion Preview 实现了 2146 tokens/s 的推理速度，比同规模自回归模型快 5.4 倍，同时保持甚至超越其生成质量，尤其在需要全局规划的任务（如代码编辑）中表现更优。
深度学习模型升级引发AI能力大跃进，行业迎新变革· 29 条信息
#字节跳动 #Seed Diffusion Preview #扩散语言模型 #代码生成 #高速推理
avatar
小互
3个月前
兄弟们 这个牛P了 2800 tokens/s 啊😂 全球最快推理速度模型 不要眨眼↓ ChatDLM：全球首个扩散语言模型 (DLM) 即将开源 ChatDLM深度融合了 Block Diffusion 和 Mixture-of-Experts (MoE) 架构，实现了全球最快的推理速度。 同时支持131,072 tokens的超长上下文 它的工作原理是：将输入分成许多小块，同时用不同“专家”模块处理，再智能整合，既快又准。 主要功能有哪些？ - 回答速度非常快，能让聊天更自然流畅。 - 可以让用户“指定”输出的风格、长度、语气等细节。 - 可以只修改一段话里的某个部分，而不用重新生成全部内容。 - 能同时应对多个要求，比如要它生成一个有多项要求的答案。 - 翻译能力很强，可以在多种语言之间准确转换。 - 用的算力资源少，使用成本低。
#ChatDLM #扩散语言模型 #全球最快推理速度 #Block Diffusion #Mixture-of-Experts #超长上下文 #AI技术 #开源项目 #推理速度