#20B模型勉强

11小时前

新买了一台Mac mini M4Pro的丐版，24G的统一内存能跑哪些大模型？先说大方向的结论，4B和7B的随便跑，无论是4bit还是8bit量化都可以。14B开始吃力只能跑4bit并且速度明显变慢。20B的勉强，24B以上悬，基本上跑不了。速度结果如图，我对具体模型评价见评论↓

#Mac mini M4Pro #大模型 #4B/7B模型可流畅运行 #14B模型吃力 #20B模型勉强