kevinzhow

这两天在 Mac Mini M4 16GB 上用 LM Studio + MLX 跑 14b 的模型，输出速度可以达到 12 Tokens 每秒，而且效果还不错，不禁觉得 GPT 套壳软件可能要在 25 年迎来第二春了，未来本地跑自己的模型会是一个很有想象力的场景