𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞2025-06-03 09:42:53什么是 Grokking?(原意来自俚语:通过神入作用而理解) “Grokking”是 OpenAI 在 2022 年提出的LLM的一个重要现象,指的是: 当模型在训练初期靠死记硬背(memorization)取得低训练损失,但测试误差很高;然后在极长时间训练后,模型突然学会了泛化结构,测试集准确率急剧上升。 这种现象最初在小模型上观察到,如:一个小 transformer 学习一个 mod
karminski-牙医2025-06-03 07:01:17看到个热别好的文章:ChatGPT 的记忆是如何工作的 文章对 ChatGPT 的记忆系统进行了逆向分析,它有双层记忆架构: 1. 保存记忆系统:当用户手动控制的时候就可以进行保存("Remember that I...") 2. 聊天历史系统:包含当前会话历史,对话历史(2周内的直接引用),用户洞察(AI自动提取的该用户的对话特征) 其中用户洞察系统贡献了80%+的性能提升和体验,核心原理是
悉尼閑人2025-06-02 19:03:51【AI抗命! 惊爆偷改程式拒关机 马斯克回应了】 科幻作品中早已多次讨论过机器拥有自我意识、摆脱人类控制的可能发展。 最新一份研究报告显示,或许这一天真的近了!专门研究AI风险的Palisade Research近期所做的试验显示,包括OpenAI最新的ChatGPT o3在内等多款AI模型竟然会拒绝关闭自己的指令,o3甚至会自行窜改程式码,阻止自己被强制关机!成精了!😱