Wey Gu 古思为 0 关注者 关注 2周前 关于非 Mac 统一内存,Nvidia 显卡的 homelab genai serving,到底咋选显卡配置,各个因素影响啥,看 Ahmad 的这个文章就够了(推荐收藏) 我现在是俩 3090 跑在 server 上,缺点是 L2 太小,prefill 慢,不支持 fp8/fp4,优点是便宜,支持 nvlink,现在 48GiB vram 是比较甜蜜的,个人使用 4bit 量化,128k 上下文 前往原网页查看