这两天在 Mac Mini M4 16GB 上用 LM Studio + MLX 跑 14b 的模型，输出速度可以达到 12 Tokens 每秒，而且效果还不错，不禁觉得 GPT 套壳软件可能要在 25 年迎来第二春了，未来本地跑自己的模型会是一个很有想象力的场景这两天在 Mac Mini M4 16GB 上用 LM Studio + MLX 跑 14b 的模型，输出速度可以达到 12 Tokens 每秒，而且效果还不错，不禁觉得 GPT 套壳软件可能要在 25 年迎来第二春了，未来本地跑自己的模型会是一个很有想象力的场景 - 来自于 x-kevinzhow - news.news

暂无通知

kevinzhow

#MacMini #LMStudio #MLX

这两天在 Mac Mini M4 16GB 上用 LM Studio + MLX 跑 14b 的模型，输出速度可以达到 12 Tokens 每秒，而且效果还不错，不禁觉得 GPT 套壳软件可能要在 25 年迎来第二春了，未来本地跑自己的模型会是一个很有想象力的场景

0/200

评论 0