karminski-牙医

0 关注者

5个月前

速报,寄了嗷,NVIDIA Project Digits 内存带宽只有 275GB/s. 意味着跑 70B-int4 速度只能到 6.8 token/s. 如果跑 DeepSeek-R1-Distill-Qwen-32B-Q5_K_M, 大概是 12.5 token/s. 就是个更便宜的 MacMini M4 Pro。 如果信了老黄的说法,用这个跑200B的大模型,一分钟也就能吐出来2句话。

#NVIDIA #内存带宽 #Project DIGITS #DeepSeek-R1-Distill-Qwen #MacMini M4 Pro #大模型

相关新闻

placeholder

阑夕

2周前

豆包新上线了AI播客,瑞士军刀功能再+1,目前支持PDF和网页链接的上传,总体来说,通过大模型的智能识别,豆包现在可以把任何内容转化成一条高度口语化的双人对话播客,属于趣味性和实用价值都很高的一次尝试。 熟悉大模型播客产品的人都知道,豆包这次对标的是谷歌NotebookLM——或者说是它最出圈的Audio Overviews功能——后者通过识别用户上传的文本、网页、视频,就可以转化成一条口语化且

placeholder

roife

2周前

我们组(NVIDIA 上海)开了一个社招的岗位,工作涉及到对 NVIDIA 下代和下下代的芯片的【编译器】支持(详情见 GTC 2025)。 福利好,假期多,组里氛围也很 nice,快来~ JD 和投递方式见

placeholder

AI Will

2周前

黄仁勋(NVIDIA CEO)谈他曾收到的最佳职业建议 来自:prayingforexits

placeholder

东方网-封面新闻

2周前

教育垂类大模型公布高考数学成绩 AI有望承担更多"教育...

placeholder

Leo Xiang

2周前

网络延迟已经超过推理延迟,对于在构造realtime agent的公司来说要及早构建自己asr/llm/tts的闭环,只有在需要强推理的情况下才调用外部大模型。

关联事件

© 2025 news.news. All rights reserved. 0.03852 秒