#清华ktransformer

小径残雪

4个月前

这几天在倒腾把Deepseek 7b模型装到本地的M1上，感觉token吐得有点慢，效果也比较差。今天看见清华的ktransformer，大幅提升推理速度，搞不好能直接单机运行DS满血版。等高手跑通以后搞一搞。

#DeepSeek #模型优化 #清华ktransformer #M1 #推理速度 #单机运行