李举刚

李举刚

0 关注者

6天前

苹果机器学习团队成员 Awni Hannun 发了一条推文,介绍了一个非常强悍的技术突破:在苹果电脑上本地运行超大规模的 AI 模型。 简单来说,他在两台顶配的 Mac 电脑上成功运行了一个参数量高达 1 万亿 的超大 AI 模型Kimi K2 Thinking,从视频上看token吞吐速度非常不错。 这项技术是RDMA技术加上苹果的分布式推理MLX实现的。 注:RDMA 允许一台计算机直接

热门新闻