#MLX

1个月前

Osaurus – 仅 7MB 的 Apple Silicon 原生开源 LLM 服务，号称比 Ollama 快 20%，基于 Apple 的 MLX 构建，可在 M 系列芯片上实现极致性能。试试~

#Osaurus #Apple Silicon #LLM #MLX #M系列芯片

8个月前

这两天在 Mac Mini M4 16GB 上用 LM Studio + MLX 跑 14b 的模型，输出速度可以达到 12 Tokens 每秒，而且效果还不错，不禁觉得 GPT 套壳软件可能要在 25 年迎来第二春了，未来本地跑自己的模型会是一个很有想象力的场景

#MacMini #LMStudio #MLX #GPT #AI模型 #2025趋势 #本地运行