这几天在倒腾把Deepseek 7b模型装到本地的M1上，感觉token吐得有点慢，效果也比较差。今天看见清华的ktransformer，大幅提升推理速度，搞不好能直接单机运行DS满血版。等高手跑通以后搞一搞。
暂无通知
暂无通知
这几天在倒腾把Deepseek 7b模型装到本地的M1上，感觉token吐得有点慢，效果也比较差。今天看见清华的ktransformer，大幅提升推理速度，搞不好能直接单机运行DS满血版。等高手跑通以后搞一搞。