𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞
9小时前
交互范式编程(Interactive Paradigm Programming, 𝕀Rℙ²) 继命令式编程Imperative、函数式编程Functional、声明式编程Declarative后的基于ICL的自然语言新编程范式 Context as code Examples as instructions Meta-prompts as control flow Validation as
𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞
10小时前
ICL的表达力边界 定理(ICL的容量限制): 如果上下文长度为 L,隐藏维度为 d,则ICL最多能表示秩为 min(L, d) 的函数。 推论: •对于 L=100, d=1000 的Transformer •ICL最多能学习”100维的线性子空间” •远小于IWL的 d²=1,000,000 维参数空间 这解释了: •为什么ICL适合”快速适应”(低秩近似足够) •为什么IWL适合”长期学习”
𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞
2天前
关键突破:从Transformer到”任何复杂神经网络” 论文的结论部分有个惊人的陈述: “Our results remain valid if the self-attention layer is switched by other forms of contextual layers, like that of a RNN, or any layer that can take an in
中日政经评论
2天前
50万粉丝,mark一下。也算个小V了。谢谢各位朋友关注。
𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞
1周前
一旦与LLM的交互范式突破,电力需求恐怕远超这个比例