𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞2025-06-03 09:42:53什么是 Grokking?(原意来自俚语:通过神入作用而理解) “Grokking”是 OpenAI 在 2022 年提出的LLM的一个重要现象,指的是: 当模型在训练初期靠死记硬背(memorization)取得低训练损失,但测试误差很高;然后在极长时间训练后,模型突然学会了泛化结构,测试集准确率急剧上升。 这种现象最初在小模型上观察到,如:一个小 transformer 学习一个 mod
砍砍@标准件厂长2025-06-03 08:08:44我他妈笑劈叉了 刚想吹牛我家深度模型可以识图 结果上来跟我说 > 换设备/网络:Xcode Cloud 有时候抽风,本地编译可能更快。 大洋彼岸的某水果牌科技公司你上点心吧连 deepseek 都说你抽风了 哈哈哈哈哈哈 笑疯了