#DeepSeek-R1-Distill-Qwen

karminski-牙医

5个月前

速报，寄了嗷，NVIDIA Project Digits 内存带宽只有 275GB/s. 意味着跑 70B-int4 速度只能到 6.8 token/s. 如果跑 DeepSeek-R1-Distill-Qwen-32B-Q5_K_M, 大概是 12.5 token/s. 就是个更便宜的 MacMini M4 Pro。如果信了老黄的说法，用这个跑200B的大模型，一分钟也就能吐出来2句话。

#NVIDIA #内存带宽 #Project DIGITS #DeepSeek-R1-Distill-Qwen #MacMini M4 Pro #大模型