关键突破：从Transformer到”任何复杂神经网络” 论文的结论部分有个惊人的陈述： “Our results remain valid if the self-attention layer is switched by other forms of contextual layers, like that of a RNN, or any layer that can take an in

#transformer #神经网络 #ICL #RNN #Mamba

相关新闻

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

9小时前

交互范式编程（Interactive Paradigm Programming, 𝕀Rℙ²）继命令式编程Imperative、函数式编程Functional、声明式编程Declarative后的基于ICL的自然语言新编程范式 Context as code Examples as instructions Meta-prompts as control flow Validation as

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

10小时前

ICL的表达力边界定理（ICL的容量限制）：如果上下文长度为 L，隐藏维度为 d，则ICL最多能表示秩为 min(L, d) 的函数。推论： •对于 L=100, d=1000 的Transformer •ICL最多能学习”100维的线性子空间” •远小于IWL的 d²=1,000,000 维参数空间这解释了： •为什么ICL适合”快速适应”（低秩近似足够） •为什么IWL适合”长期学习”

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

2天前

mark。交互范式的精髓在于ICL。

Barret李靖

5天前

时隔两年，把带我入门的两本经典再拿出来温习温习。当年学前端也把《JavaScript 权威指南》啃了六七遍，至今每个函数的入参都还记得清清楚楚。或许学神经网络也是一样的道理吧😃

Barret李靖

6天前

Attention is all you need，顺着历史脉络去看 Transformer 自注意力机制的发展，还经历了Bag-of-Words、Word2vec、RNN、Attention 等概念的演进。《图解大模型》把 LLM 的内部原理，包括预训练、微调、语言模型的应用和优化等，一步步做了图解分析，写得挺不错👍