速报,寄了嗷,NVIDIA Project Digits 内存带宽只有 275GB/s. 意味着跑 70B-int4 速度只能到 6.8 token/s. 如果跑 DeepSeek-R1-Distill-Qwen-32B-Q5_K_M, 大概是 12.5 token/s. 就是个更便宜的 MacMini M4 Pro。 如果信了老黄的说法,用这个跑200B的大模型,一分钟也就能吐出来2句话。
速报,寄了嗷,NVIDIA Project Digits 内存带宽只有 275GB/s. 意味着跑 70B-int4 速度只能到 6.8 token/s. 如果跑 DeepSeek-R1-Distill-Qwen-32B-Q5_K_M, 大概是 12.5 token/s. 就是个更便宜的 MacMini M4 Pro。 如果信了老黄的说法,用这个跑200B的大模型,一分钟也就能吐出来2句话。
AI Will
2周前
黄仁勋(NVIDIA CEO)谈他曾收到的最佳职业建议 来自:prayingforexits
东方网-封面新闻
2周前
教育垂类大模型公布高考数学成绩 AI有望承担更多"教育...