Anthropic的脑子也是挺奇怪的，一边说蒸馏是各家模型公司的常规做法，一边又在吐槽中国模型公司在蒸馏他们数据。 我觉得大模型蒸馏这事确实得分好几个层面看： 一是所有的大模型理论上都是对人类历史积攒的所有知识的蒸馏，而且预训练的数据都是直接用，没有经过合理授权的，所以其实大模型公司真是最不适合去出来指责所谓蒸馏行为的； 二是在预训练数据基本上被用尽的情况下，用大模型生成部分数据作为预训练材料我