#内存带宽

karminski-牙医

2个月前

看到个写的非常好的机器学习工程师性能优化指南。建议普通工程师也可以读一下，能学到不少东西。比如我截图这个就讲了为什么现在大模型都是内存带宽受限而不是计算受限教程：

#机器学习 #性能优化 #大模型 #内存带宽 #工程师

karminski-牙医

9个月前

速报，寄了嗷，NVIDIA Project Digits 内存带宽只有 275GB/s. 意味着跑 70B-int4 速度只能到 6.8 token/s. 如果跑 DeepSeek-R1-Distill-Qwen-32B-Q5_K_M, 大概是 12.5 token/s. 就是个更便宜的 MacMini M4 Pro。如果信了老黄的说法，用这个跑200B的大模型，一分钟也就能吐出来2句话。

#NVIDIA #内存带宽 #Project DIGITS #DeepSeek-R1-Distill-Qwen #MacMini M4 Pro #大模型