#合成数据

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

3周前

这个论文看到过很久了，现在合成数据已经很普遍了吧，尤其是后训练，大模型崩塌了吗？如果指的是Pre-training，倒是个问题。LLM生成的文章越来越普遍，但是以目前投射与反投射的生成机制，还是human-in-loop，质量普遍也越来越高了啊🤔 另外语言的语义一直在发展，思考的的结构、角度好像就那么几种吧…

#合成数据 #大模型 #LLM #语义发展 #人机协作

1个月前

最近感受是合成数据 / Agent / AI App，这三个方向看起来是最适合传统程序员切入 ai 赛道。工程能力为主，需要对 llm 有比较深的理解，又不需要很深的数学功底 🤔 大家啥看法

#合成数据 #agent #AI app #程序员 #ai赛道

8个月前

Things we learned about LLMs in 2024 中我深有同感的： 1. GPT-4的垄断地位被打破。 2. LLM 价格指数式下降。 3. Prompt驱动的应用已经可以商业化。 4. Agents 还没有出现（出现的只是Prompt驱动的Workflow）。 5. 以o1为代表的推理模型开始出现。 6. 合成数据效果很好，事实上目前大部分模型的SFT数据都是合成的，预训练数据也经过了精心过滤。 7. 社会上不同的人群对大模型的认知差距十分巨大，可能会带来新的数字鸿沟。 8. 长上下文很重要，激发了很多可能性。(没有长上下文，cursor 是不会出现的，只有代码补全）

#GPT-4 #垄断地位 #价格下降 #Prompt驱动 #商业化 #Agents #推理模型 #合成数据 #SFT数据