勃勃OC2025-02-01 23:29:18搞了这么久,Mac 32G内存最大只能跑14b的模型,64G能跑28b,128G是56b,最大512G可以跑200b 可是原模型大小有671b。。。 用本地小模型的人很快会发现,自己的模型效果为什么和API里serve的完全不一样? 所以,所谓deepseek模型特别快,所以可以跑终端的意义何在? 哪个模型的小版本不能跑终端? DeepSeek现在看起来,唯一的价值可能只剩,他们把fb8#Mac#深度学习#模型效果
九原客2025-01-23 08:07:21用17K从DeepSeek R1 蒸馏的SFT数据,微调Qwen2.5-32B,效果非常不错。 与DeepSeek R1自家蒸馏的版本相比略逊一些,但是后者是800k sample,而且这17k数据以及合成脚本完全开源。 方法来自之前蒸馏QwQ的Sky-T1。 P.S. 7B的模型效果提升不佳,看来越小的模型需要越多的数据激活能力。 1/2 #SFT数据#Qwen2.5-32B#微调