嗯哒嘿 0 关注者 关注 9小时前 新买了一台Mac mini M4Pro的丐版,24G的统一内存能跑哪些大模型? 先说大方向的结论,4B和7B的随便跑,无论是4bit还是8bit量化都可以。14B开始吃力只能跑4bit并且速度明显变慢。20B的勉强,24B以上悬,基本上跑不了。 速度结果如图,我对具体模型评价见评论↓ #Mac mini M4Pro #大模型 #4B/7B模型可流畅运行 #14B模型吃力 #20B模型勉强 前往原网页查看