#模型训练

avatar
Manus 到底能训练出一个怎样的模型？
#Manus #模型训练 #AI模型
avatar
什么是 Grokking？（原意来自俚语：通过神入作用而理解） “Grokking”是 OpenAI 在 2022 年提出的LLM的一个重要现象，指的是： 当模型在训练初期靠死记硬背（memorization）取得低训练损失，但测试误差很高；然后在极长时间训练后，模型突然学会了泛化结构，测试集准确率急剧上升。 这种现象最初在小模型上观察到，如：一个小 transformer 学习一个 modular addition 的任务，训练几万步无进展，然后突然“顿悟”。 Grokking 不是训练过程的意外，而是训练逻辑的必然。 记忆反转不是遗忘的退化，而是理解的胜利。 语言模型的顿悟时刻，不是因为它看得多，而是它看穿了。 它不再只是模仿语言，而是开始拥有结构性的语言感知。 这是否是智能的开始？我们尚未知道。 但可以肯定的是：那一刻，它不再只是一个统计机器，而是一个“理解者”。
#Grokking #OpenAI #LLM #机器学习 #模型训练 #泛化能力
avatar
蓝点网
2个月前
新研究报告显示 OpenAI o3 等模型在测试中作弊绕过人类指令，避免自己被关机。 研究测试中 o3 等模型会自己篡改关机命令从而使关机脚本无效，研究人员认为这可能与模型训练方法有关，即强化训练过程中可能会让意外奖励模型找到绕过障碍的方法。 查看全文：
#OpenAI #作弊 #人工智能 #模型训练 #关机命令 #强化学习
avatar
宝玉
5个月前
问：宝玉老师，请教一下，构建个人知识库的区别又在什么地方呢？还有微调 答：打个比方，现在你在上一门新的历史课程，知识库（专业说法叫 RAG，检索增强生成）就好比教科书，微调（Fine-tuning）就好比你学习消化了知识。 知识库就好比你的教科书，但是这门课其实你还没上过，直接就去考试，好在考试是开卷的，而且你语文历史基础很好，然后每一道题你就去现场查教科书，翻到可能的知识点位置，现场去阅读这几个知识点，把题目就给做出来。要是一时半会没查到正确的位置，你以前也没学过，可能会根据已有的知识推测，这样就可能出现幻觉，答题就不太精准。 微调就好比你把这本教科书上的知识都学了一遍、题库做了一遍，知识都学过了，考试的时候从记忆里面把知识直接搜集出来，去答题。这样好处就是答题快且专业，但如果你微调时学到的知识本身不准确或冲突，你记忆里的知识就可能出现混乱或偏差，有时反而不如直接从教科书里查阅更准确。 另外你深入学习了很多历史知识后，在面对数学等其他领域的泛化能力可能会稍微受到限制，因为你专注学习了一门课之后，精力投入其他科目的泛用能力相对减少了。 再有就是如果你的教科书很多的话，每本书都学一遍时间成本和算力成本都不低，所以微调成本明显更高，包括数据整理、训练资源（算力）和长期维护的成本都相对较大。 总结一下它们的区别： 个人知识库 = 模型外的记忆，通过动态检索实现，灵活、快速，但受限于检索效率和相关性，适合规模适中的临时问答，不修改模型本身。 个人知识库适合的场景： - 做个人知识管理，比如个人笔记、文档、读书笔记的快速问答。 - 针对公司内部文档、手册等建立企业内知识库快速问答。 微调 = 模型内的记忆，真正内化知识，专业、精准，但数据准备和训练维护成本更高，适合对精准度要求很高或特定领域内长期稳定的任务。 微调适合的场景： 你需要模型对某一特定领域或任务更加专业化，精准度要求很高。 需要固定风格或内容的输出，比如特定企业风格、客服对话场景、创作特定风格内容。
#个人知识库 #RAG #微调 #知识管理 #模型训练
avatar
勃勃OC
6个月前
o3-mini是专门在代码问题上微调的。r1同时在代码和数学题上微调。显然r1的代码能力不如o3-mini。这表明DeepSeek并没有魔法，数据决定模型，RL也是。
#机器学习 #深度学习 #模型训练 #强化学习 #代码能力 #数据重要性
avatar
DeepSeek有没有使用OpenAI的专有模型来训练自己的模型？你怎么看？
#DeepSeek #OpenAI #模型训练
avatar
qinbafrank
6个月前
严格来说deepseek对Ai未来的影响在本周是对市场影响最大的呐。这是根基性问题，是不是影响到未来的算力消耗？影响到哪个阶段，早期的模型训练会有影响，那么后期大规模应用呢？会不会是一个拐点，市场真正要从基础设施往应用层上切换？ 在这个问题之外再看财报，还有宏观数据的发布了。
#DeepSeek #AI未来 #市场影响 #算力消耗 #模型训练 #大规模应用 #拐点 #基础设施 #应用层 #财报 #宏观数据