#模型范式

howie.serious

4周前

o3-pro 马上就要发布了。我对 o3-pro 的期待，是它能在某种程度上当“通用 agent”来用。（否则的话，就太没劲了🤦‍♂️ o3-pro 不应重复o1-pro 对 o1 的升级：只是 high compute 模式，增加推理时长。毕竟，o3 不是更大的 o1，而是一种全新的模型范式：full tool use，开启智能的新阶段。 deep research 是专业 agent，只能干主题研究这一件事。期待 o3-pro，能像 deep research 那样围绕某个目标长时间推理，full tool use，直接交付可用的、有经济价值的工作结果。如果不是这样的 o3-pro，那也挺没劲的😮‍💨

#O3-Pro #通用Agent #high compute 模式 #full tool use #智能新阶段 #Deep Research #模型范式

Panda

5个月前

预训练23年底就死了，只是这两个月才埋微调24年q1也死了，只是还没有被埋更是发现有些名词从前沿传到创投圈就被异化了词义：大模型做teacher model教作为student的小模型，有人把这个过程叫做蒸馏，是完全错误的 teacher student的模型范式和蒸馏没关系蒸馏也不是简单的做数据再训练 weak to strong learning才是核心

#预训练 #微调 #大模型 #teacher model #student model #蒸馏 #模型范式 #weak to strong learning