#Mamba

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

2天前

关键突破：从Transformer到”任何复杂神经网络” 论文的结论部分有个惊人的陈述： “Our results remain valid if the self-attention layer is switched by other forms of contextual layers, like that of a RNN, or any layer that can take an input and optionally a context.” 这意味着： ICL ≠ Transformer的专属能力任何具有以下性质的架构都有ICL能力： 1.有一个层可以接受”上下文”（Contextual Layer） 2.这个层后面跟着一个神经网络（任何形式）满足这个条件的架构： •✅ Transformer（显然） •✅ RNN + 注意力 •✅ 状态空间模型（如Mamba） •✅ 甚至是：人类大脑（皮层 = 上下文层，皮层下结构 = MLP）

#transformer #神经网络 #ICL #RNN #Mamba