#语言世界动力学

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1天前

LLM的IWL和ICL就是典型的环境双峰分布 (Bimodal Environment)的学习适应范式：也是对语言世界动力学的精辟概括。 ◦峰 A (高频、稳定、慢变)：世界的大部分规律（物理定律、语法规则、社会常识）在很长的时间尺度内是稳定不变的。对于这些规律，最经济的策略是投入巨大能量进行一次性的、深度的学习，将其“编译”或“固化”到系统底层。 ◦峰 B (低频、易变、快变)：世界也充满了各种临时的、具体的、需要快速反应的情境。对于这些情境，重新进行底层学习是不可思议的浪费。最经济的策略是拥有一个轻量级的、能够快速调用和组合底层规律的系统来应对。

#LLM #IWL #ICL #环境双峰分布 #语言世界动力学