DeepSeek 推出了 FlashMLA,这是一款专为 Hopper GPU 设计的新解码内核,标志着其开源周的开始。FlashMLA 旨在提高 AI 模型的效率,支持 BF16,采用 64 块大小的分页 KV 缓存,并在 H800 GPU 上实现 3000 GB/s 的内存带宽和 580 TFLOPS 的高性能。 该内核针对可变长度序列进行了优化,大幅降低计算需求,同时提升 AI 任务的速度和效率
DeepSeek 推出了 FlashMLA,这是一款专为 Hopper GPU 设计的新解码内核,标志着其开源周的开始。FlashMLA 旨在提高 AI 模型的效率,支持 BF16,采用 64 块大小的分页 KV 缓存,并在 H800 GPU 上实现 3000 GB/s 的内存带宽和 580 TFLOPS 的高性能。 该内核针对可变长度序列进行了优化,大幅降低计算需求,同时提升 AI 任务的速度和效率
Jesse Lau 遁一子
9小时前
我让GPT画一张小说场景图。ta先给我画了下面这张名言图 结合我这个赛博朋克的小说摘要,有点像GPT在告知我这个信息😎 “凡我所想,皆是真实”
Gorden Sun
19小时前
AI资讯日报,8月16日: