0 关注者
3天前
相关新闻
𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞
1天前
两种”权重更新”的方式 在任何神经网络中，系统的行为可以被概念化为： 输出 = f(输入; θ) 其中θ是网络参数（权重） 但这个式子可以被重写为： 输出 = f_context(输入; θ, c) 其中c是"上下文"（context） θ（权重）：通过梯度下降缓慢更新 ∂L/∂θ = ...（需要反向传播） c（上下文）：通过前向传播快速计算 c = g(历史输入; θ)（
𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞
6天前
根据DeepMind的研究（Akyürek et al., 2023），ICL等价于： ΔW = u · vᵀ （秩1矩阵） 其中： • u ∈ ℝᵈ：输⼊模式（"问题"的编码） • v ∈ ℝᵈ：输出⽅向（"期望答案"的⽅向）
𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞
1周前
关键突破：从Transformer到”任何复杂神经网络” 论文的结论部分有个惊人的陈述： “Our results remain valid if the self-attention layer is switched by other forms of contextual layers, like that of a RNN, or any layer that can take an in
