李举刚 0 关注者 关注 6天前 苹果机器学习团队成员 Awni Hannun 发了一条推文,介绍了一个非常强悍的技术突破:在苹果电脑上本地运行超大规模的 AI 模型。 简单来说,他在两台顶配的 Mac 电脑上成功运行了一个参数量高达 1 万亿 的超大 AI 模型Kimi K2 Thinking,从视频上看token吞吐速度非常不错。 这项技术是RDMA技术加上苹果的分布式推理MLX实现的。 注:RDMA 允许一台计算机直接 前往原网页查看