x-karminski-牙医来源下的内容 - news.news

暂无通知

x-karminski-牙医

karminski-牙医

3天前

深度分析下 DeepSeek-R1 用华为昇腾，推理集群大概多大？重磅消息，昨天的新闻，DeepSeek-R1 真的能在华为的昇腾AI加速卡上跑了。根据华为官方，Atlas（昇腾） 300I Pro 推理卡单卡拥有 140 TOPS INT8 和 70 TFLOPS FP16这个性能足够推理用，但关键的内存则使用了LPDDR4X 24 GB，总带宽204.8 GB/s 深度分析下 DeepSeek-R1 用华为昇腾，推理集群大概多大？重磅消息，昨天的新闻，DeepSeek-R1 真的能在华为的昇腾AI加速卡上跑了。根据华为官方，Atlas（昇腾） 300I Pro 推理卡单卡拥有 140 TOPS INT8 和 70 TFLOPS FP16这个性能足够推理用，但关键的内存则使用了LPDDR4X 24 GB，总带宽204.8 GB/s #DeepSeek-R1 #华为昇腾 #AI加速卡

karminski-牙医

1周前

来了嗷！全网首测！DeepSeek 4 小时之前又发布了一个多模态模型——Janus-pro！这个模型的特点是将文生图和图生文合二为一了！我觉得这个模型更多是方向上的验证，如果验证靠谱就会推出可以投入生产的模型了。 [1/?] 来了嗷！全网首测！DeepSeek 4 小时之前又发布了一个多模态模型——Janus-pro！这个模型的特点是将文生图和图生文合二为一了！我觉得这个模型更多是方向上的验证，如果验证靠谱就会推出可以投入生产的模型了。 [1/?] #DeepSeek #Janus-Pro #多模态模型

karminski-牙医

1周前

速报，寄了嗷，NVIDIA Project Digits 内存带宽只有 275GB/s. 意味着跑 70B-int4 速度只能到 6.8 token/s. 如果跑 DeepSeek-R1-Distill-Qwen-32B-Q5_K_M, 大概是 12.5 token/s. 就是个更便宜的 MacMini M4 Pro。如果信了老黄的说法，用这个跑200B的大模型，一分钟也就能吐出来2句话。 速报，寄了嗷，NVIDIA Project Digits 内存带宽只有 275GB/s. 意味着跑 70B-int4 速度只能到 6.8 token/s. 如果跑 DeepSeek-R1-Distill-Qwen-32B-Q5_K_M, 大概是 12.5 token/s. 就是个更便宜的 MacMini M4 Pro。如果信了老黄的说法，用这个跑200B的大模型，一分钟也就能吐出来2句话。 #NVIDIA #内存带宽 #Project DIGITS

karminski-牙医

3周前

kotoro-TTS 荣登 TTS Arena 排行榜第一名，录了个视频大家可以看下它中文的语音合成效果。值得一提的是，这个模型只有 82M，树莓派都能跑。而且是 MIT 协议的。排行榜地址：在线测试地址： kotoro-TTS 荣登 TTS Arena 排行榜第一名，录了个视频大家可以看下它中文的语音合成效果。值得一提的是，这个模型只有 82M，树莓派都能跑。而且是 MIT 协议的。排行榜地址：在线测试地址： #kotoro-TTS #TTS Arena #语音合成

热搜榜