#BF16

karminski-牙医

4个月前

看到个PDF识别大模型 olmOCR-7B-0225-preview 。我用发票试了一下，感觉效果还可以？这个7B模型是BF16的，量化后估计能在4GB左右？普通电脑也能用。模型地址：在线测试地址： #大模型竞技场

#大模型竞技场 #PDF识别 #olmOCR #量化模型 #BF16

勃勃OC

4个月前

DeepSeek 推出了 FlashMLA，这是一款专为 Hopper GPU 设计的新解码内核，标志着其开源周的开始。FlashMLA 旨在提高 AI 模型的效率，支持 BF16，采用 64 块大小的分页 KV 缓存，并在 H800 GPU 上实现 3000 GB/s 的内存带宽和 580 TFLOPS 的高性能。该内核针对可变长度序列进行了优化，大幅降低计算需求，同时提升 AI 任务的速度和效率

#DeepSeek #FlashMLA #HopperGPU #AI #开源 #BF16 #H800GPU #高性能计算