模型效果下的内容

搞了这么久，Mac 32G内存最大只能跑14b的模型，64G能跑28b，128G是56b，最大512G可以跑200b 可是原模型大小有671b。。。用本地小模型的人很快会发现，自己的模型效果为什么和API里serve的完全不一样？所以，所谓deepseek模型特别快，所以可以跑终端的意义何在？哪个模型的小版本不能跑终端？ DeepSeek现在看起来，唯一的价值可能只剩，他们把fb8 搞了这么久，Mac 32G内存最大只能跑14b的模型，64G能跑28b，128G是56b，最大512G可以跑200b 可是原模型大小有671b。。。用本地小模型的人很快会发现，自己的模型效果为什么和API里serve的完全不一样？所以，所谓deepseek模型特别快，所以可以跑终端的意义何在？哪个模型的小版本不能跑终端？ DeepSeek现在看起来，唯一的价值可能只剩，他们把fb8跑通了 🤣🤣🤣 #Mac #深度学习 #模型效果

用17K从DeepSeek R1 蒸馏的SFT数据，微调Qwen2.5-32B，效果非常不错。与DeepSeek R1自家蒸馏的版本相比略逊一些，但是后者是800k sample，而且这17k数据以及合成脚本完全开源。方法来自之前蒸馏QwQ的Sky-T1。 P.S. 7B的模型效果提升不佳，看来越小的模型需要越多的数据激活能力。 1/2