预训练23年底就死了，只是这两个月才埋微调24年q1也死了，只是还没有被埋更是发现有些名词从前沿传到创投圈就被异化了词义：大模型做teacher model教作为student的小模型，有人把这个过程叫做蒸馏，是完全错误的 teacher student的模型范式和蒸馏没关系蒸馏也不是简单的做数据再训练 weak to strong learning才是核心

#预训练 #微调 #大模型 #teacher model #student model #蒸馏 #模型范式 #weak to strong learning

相关新闻

宝玉

23小时前

小模型不是 Agentic AI 的未来，小模型只配给 Agent 当工具现阶段 Agent 的主要问题不是成本过高，而是智能不足，所以做不好任务，所以需要浪费很多 Token。不能拿小模型在特定环境特定任务 RL（强化学习）后的结果来当证据，这不代表其在真实任务中的能力，这就是为什么一堆模型靠训练测试集刷很高分，但是实际一用很垃圾的原因。真实世界的任务是很复杂的，用户的请求总是千奇

orange.ai

2天前

这套大模型考题太抽象了谁发明的这套图… 太抽象了甚至还有点好玩？ AI 能不能批量画出这种图？

澎湃新闻-浦江头条

3天前

如何让大模型听懂老人“话中有话”？上海创智学院这场课题展示很“哇塞”

yetone

3天前

我作为预制人每天都用着预制大模型写预制代码，写出来的预制产品收获着大家的预制评价，我真的不想过这种预制生活了

Y11

4天前

分享今日CSDN热文《文心 X1.1 实测：高端大模型性能新突破（附 Python 简明入门教程）》。百度文心 X1.1 大模型在核心性能维度展现出显著突破：在 Python 粒子动画生成等场景实现零调试运行，中文热梗解析完整度达 95%，事实性错误率较上一代降低 34.8%。百度文心一言X1.1的使用方法详见：