九原客2025-01-23 08:07:21用17K从DeepSeek R1 蒸馏的SFT数据，微调Qwen2.5-32B，效果非常不错。 与DeepSeek R1自家蒸馏的版本相比略逊一些，但是后者是800k sample，而且这17k数据以及合成脚本完全开源。 方法来自之前蒸馏QwQ的Sky-T1。 P.S. 7B的模型效果提升不佳，看来越小的模型需要越多的数据激活能力。 1/2 #DeepSeek R1#SFT数据#Qwen2.5-32B#微调#蒸馏#Sky-T1#模型效果#数据开源#17K数据
