系统α（ICL）需要什么支持？ • 快速的计算路径 • 灵活的表示 • 对新分布的快速适应系统β（IWL）需要什么支持？ • 稳定的长期记忆 • 准确的学习信号 • 对历史数据的综合理解两个系统如何协作？ • IWL优化参数，使ICL能够工作 • ICL在运行时适应，使IWL有机会学习 • 两者一起，实现了"学会学习"（meta-learning）

#ICL #IWL #meta-learning #系统协作 #学会学习

相关新闻

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

13小时前

ICL 大有可为 2510.08191 -arxiv.org/pdf/2510.08191

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1天前

语言天生具有power，体现在LLM的两种学习范式上：ICL vs IWL的区分不仅是技术的，也是政治的允许ICL但限制IWL，意味着： "你可以快速适应，但不能进行深刻的改变" 这是一种"表面的民主化"——给予用户看似的权力（ICL），同时保留真实的权力（IWL）给企业或精英

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

5天前

LLM的IWL和ICL就是典型的环境双峰分布 (Bimodal Environment)的学习适应范式：也是对语言世界动力学的精辟概括。 ◦峰 A (高频、稳定、慢变)：世界的大部分规律（物理定律、语法规则、社会常识）在很长的时间尺度内是稳定不变的。对于这些规律，最经济的策略是投入巨大能量进行一次性的、深度的学习，将其“编译”或“固化”到系统底层。 ◦峰 B (低频、易变、快变)：世界也充满了各

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

6天前

根据DeepMind的研究（Akyürek et al., 2023），ICL等价于： ΔW = u · vᵀ （秩1矩阵）其中： • u ∈ ℝᵈ：输⼊模式（"问题"的编码） • v ∈ ℝᵈ：输出⽅向（"期望答案"的⽅向）

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1周前

交互范式编程（Interactive Paradigm Programming, 𝕀Rℙ²）继命令式编程Imperative、函数式编程Functional、声明式编程Declarative后的基于ICL的自然语言新编程范式 Context as code Examples as instructions Meta-prompts as control flow Validation as