#预训练

「LLM, Reasoning」论文： Rethinking Reflection in Pre-Training 预训练卷土重来，reasoning 时代神奇的 “wait” 再现。 本周我最喜欢的一篇论文来了。 来自 Essential AI，由 Ashish Vaswani 主导，对写过论文的人来说，这个引用太熟悉了 （Vaswani et al., 2017）， Transforme

刚刚 Google 的开源模型 Gemma 3 发布了！ 几个关键点： - 这次放出了pt（预训练，Pre-Training）和 it （指令微调，Instruction Tuning）版本，默认用it即可。pt更多是给大家用来微调用的基座模型 - Gemma-3 是多模态的，可以处理图片输入 - 大小分别是1B，4B，12B，27B - 支持 128K 上下文 - MMLU-Pro 评分，Ge

深度角色扮演模型 DeepSex 使用思维链和强化学习技术增强模型角色扮演，小说生成能，提升模型的创作能力。 四阶段进化架构： 增量预训练：注入0.4T Token 小说，使用16k上下文训练，增强文本连贯性 Tifa-SFT：融合全球Top4角色扮演模型Tifa的10万条高质量数据 CoT恢复训练：采用Deepseek-32B/671B数据重建推理能力 RL强化：保留发散性思维标签的同时

预训练23年底就死了，只是这两个月才埋 微调24年q1也死了，只是还没有被埋 更是发现有些名词从前沿传到创投圈就被异化了词义： 大模型做teacher model教作为student的小模型，有人把这个过程叫做蒸馏，是完全错误的 teacher student的模型范式和蒸馏没关系 蒸馏也不是简单的做数据再训练 weak to strong learning才是核心

大模型预训练 2023 年底就走到瓶颈了，去年一直在压缩。

近期零一万物一系列事件的梳理： - 财务危机：2025年1月，李开复在内部会议上提到预训练投入过大，计划转型做应用。 - 裁员与团队变动：2024年12月中旬，零一万物裁撤了预训练算法团队和Infra团队，包括硅谷团队。12月末，阿里通义团队和阿里云分别向这些团队提供了offer，但并非收购，而是提供工作岗位。 - 阿里的角色：阿里通过提供工作岗位的形式收编了零一万物的部分员工，目前仅为口头of