用17K从DeepSeek R1 蒸馏的SFT数据，微调Qwen2.5-32B，效果非常不错。与DeepSeek R1自家蒸馏的版本相比略逊一些，但是后者是800k sample，而且这17k数据以及合成脚本完全开源。方法来自之前蒸馏QwQ的Sky-T1。 P.S. 7B的模型效果提升不佳，看来越小的模型需要越多的数据激活能力。 1/2

#DeepSeek R1 #SFT数据 #Qwen2.5-32B #微调 #蒸馏 #Sky-T1 #模型效果 #数据开源 #17K数据

相关新闻

勃勃OC

2周前

DeepSeek R1登上《自然》杂志封面，成为首个通过同行评议的先进大语言模型。

Cell 细胞

2周前

所以，看空高德扫街榜的一个原因：不够去中心化，不中立，除非他把算法开源，数据开源

Mr Panda

4周前

我第一个版本的提示词从来都是用ai 生成，然后由我进行微调。

XiaoPeng

1个月前

Claude的指令依从性好像有所进步啊。我怀疑他们是怎么在后台调节的呢？下图我在一个200行的提示词里面加了一正一负两个例子，它立刻就把原来生成结果里面的错误给挑出来了。我之前的经验这种调整通常是要么没生效，要么生效了但是不相关的部分也做了调整。这大约相当于修图中的微调吧。

dontbesilent

1个月前

让国内的用户梳理自媒体信息+写元提示词做智能体，然后再用智能体，这个流程太长了，99% 的人直接放弃我准备买域名做网站了，就在国内上，就用 DeepSeek R1 比如用户输入某个小红书博主的 20 个标题（或者用手机截屏 10 张都上传也行），我在网站里面内置好提示词，一键生成智能体（如果用户有兴趣，可以点击查看背后的提示词，但是默认不显示）用户只需要等待个 10s 左右，就可以和