𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞
3个月前

什么是 Grokking？（原意来自俚语：通过神入作用而理解） “Grokking”是 OpenAI 在 2022 年提出的LLM的一个重要现象，指的是： 当模型在训练初期靠死记硬背（memorization）取得低训练损失，但测试误差很高；然后在极长时间训练后，模型突然学会了泛化结构，测试集准确率急剧上升。 这种现象最初在小模型上观察到，如：一个小 transformer 学习一个 mod

#Grokking #OpenAI #LLM #机器学习 #模型训练 #泛化能力

相关新闻

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

6小时前

见所未见，LLM的这种能力来自语言的超模态通感？

placeholder

守晨💤

8小时前

才发现termux官方仓库已经上架了llama.cpp的vulkan后端，不需要编译可以直接用，顺手整理了篇在手机上用vulkan加速推理llm的教程参考

placeholder

Barret李靖

12小时前

Attention is all you need，顺着历史脉络去看 Transformer 自注意力机制的发展，还经历了Bag-of-Words、Word2vec、RNN、Attention 等概念的演进。《图解大模型》把 LLM 的内部原理，包括预训练、微调、语言模型的应用和优化等，一步步做了图解分析，写得挺不错👍

placeholder

meng shao

12小时前

[YC AI Startup School 经典重温] Andrej Karpathy：软件，再次，变革！ 假期做什么？除了带孩子，当然是重温经典视频了，AK 在 三个月前 YC AI Startup School 上对「软件在 AI 时代的变化」的演讲必须值得反复观看学习。作为 Stanford、OpenAI 和 Tesla 的资深研究者，他将当前 AI 浪潮比作软件发展的第三个重大跃迁——从

placeholder

小互

16小时前

🚨OpenAI 发布全新多模态生成模型：Sora 2 这次不只是生成视频，还能同步生成语音、环境音，甚至把你“插入”视频当主角！ 模型亮点： - 支持多个镜头的连续生成 - 动作更物理真实、世界状态可控 - 真人Cameo登场，只需录一次就能随时穿越进任意场景 - 支持写实、动漫、电影等风格切换 - 新版 iOS App 已上线，支持 remix、个性化推荐、青少年保护等功能 👀