宝玉2025-02-17 10:45:44可以看得出,OpenAI 正在用 o3 的数据来蒸馏 GPT-4o,所以 GPT-4o 越来越强了。 o1、o3 这样的推理模型因为更擅长逻辑推理和长链思考(或在某些领域拥有更深入的知识),因此能生成更高质量、更精准、更具启发性的数据。 这些“数据”可能包括:更完善的解题思路、更详细的标注数据、难以在网上直接找到的“合成知识”、或者更高质量的问答示例等等。 这些由推理模型生成的优质数据,又能
偶像派作手2025-01-26 18:02:33DeepSeek 声称它仅使用了 2,048 个 Nvidia H800 和 560 万美元来训练一个具有 6710 亿参数的模型,这只是 OpenAI 和 Google 用于训练同等规模模型支出的一个小部分。