#HopperGPU

勃勃OC

4个月前

DeepSeek 推出了 FlashMLA，这是一款专为 Hopper GPU 设计的新解码内核，标志着其开源周的开始。FlashMLA 旨在提高 AI 模型的效率，支持 BF16，采用 64 块大小的分页 KV 缓存，并在 H800 GPU 上实现 3000 GB/s 的内存带宽和 580 TFLOPS 的高性能。该内核针对可变长度序列进行了优化，大幅降低计算需求，同时提升 AI 任务的速度和效率

#DeepSeek #FlashMLA #HopperGPU #AI #开源 #BF16 #H800GPU #高性能计算