## MLPs can learn in-context （刚才看到一个帖子一个standford phd提到的，手一滑就不见了） One of the most under-rated empirical results of this year was the fact that MLPs can learn in-context [14]. This is surprising becaus

#MLP #in-context learning #memorization #attention mechanism #generalization

向阳乔木

1周前

MLP（最小可爱产品）是一个比MVP更好的标准。你发布的第一个版本，功能可以少，但它所包含的功能必须让人感到愉悦。 Spotify第一版功能很少，但做到了一件事：点一首歌，几乎瞬间播放。那个年代，这种体验很牛逼。 MVP问的是 "这个产品能用吗？"。 MLP问的是 "这个产品会让人想告诉朋友吗？"

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

4个月前

腾讯AI lab最近好像对in-context learning很关注 ICPO-In Context Steered Policy Optimization

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

5个月前

旧时代：假以时日，这都不是事新纪元：in-context learning，could be everything

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

8个月前

阶跃星辰stepfun可以的，这个step3的部署架构把attention和MLP分开，效率更高！ LLM的下一个突破是啥？attention+MLP+？