#超长上下文

avatar
小互
2个月前
兄弟们 这个牛P了 2800 tokens/s 啊😂 全球最快推理速度模型 不要眨眼↓ ChatDLM：全球首个扩散语言模型 (DLM) 即将开源 ChatDLM深度融合了 Block Diffusion 和 Mixture-of-Experts (MoE) 架构，实现了全球最快的推理速度。 同时支持131,072 tokens的超长上下文 它的工作原理是：将输入分成许多小块，同时用不同“专家”模块处理，再智能整合，既快又准。 主要功能有哪些？ - 回答速度非常快，能让聊天更自然流畅。 - 可以让用户“指定”输出的风格、长度、语气等细节。 - 可以只修改一段话里的某个部分，而不用重新生成全部内容。 - 能同时应对多个要求，比如要它生成一个有多项要求的答案。 - 翻译能力很强，可以在多种语言之间准确转换。 - 用的算力资源少，使用成本低。
#ChatDLM #扩散语言模型 #全球最快推理速度 #Block Diffusion #Mixture-of-Experts #超长上下文 #AI技术 #开源项目 #推理速度
avatar
karminski-牙医
2个月前
无了，昨天以为 llama-4 虽然写代码不行，但是1M-10M的超长上下文还能干点别的。 结果今天 Fiction.LiveBench 结果放出了。llama-4 在 1K 上下文召回(近似, 实际上这个分数是问题回答的正确率)就掉到60%以下了，甚至 llama-4-scout 超过16K只有22%。 顺带一提哈利波特与魔法石正好是16K左右。这意味着你把这本书塞进去，然后问哈利小时候生活在卧室还是楼梯下面的储物间，llama-4-scout 只有22% 的机会能答对 （近似理解，实际上召回要再复杂点）。总之，这个分数远低于头部的平均水平....
#llama-4 #超长上下文 #Fiction.LiveBench #哈利波特