𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞
1天前

两种”权重更新”的方式 在任何神经网络中，系统的行为可以被概念化为： 输出 = f(输入; θ) 其中θ是网络参数（权重） 但这个式子可以被重写为： 输出 = f_context(输入; θ, c) 其中c是"上下文"（context） θ（权重）：通过梯度下降缓慢更新 ∂L/∂θ = ...（需要反向传播） c（上下文）：通过前向传播快速计算 c = g(历史输入; θ)（

#神经网络 #权重更新 #梯度下降 #前向传播 #上下文

相关新闻

placeholder

orange.ai

3天前

我今天花了一小时读了一篇文章《语言：生于智能并终将成为智能》 核心观点是：压缩就是智能。 生命对抗熵增需要最大化能量效率。大脑是一台高效的压缩机器——能耗20瓦，但算力惊人。智商越高，计算能耗越低。 人类为了传递经验发明了语言，语言本质上就是对现实的压缩。 到了AI时代，关系反过来了： 以前是：现实 → 人类智能 → 语言（传递工具） 现在是：语言 → AI → 现实 语言不再只是传递工

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

5天前

今天读的论文发现，LLM的智能，元认知程度也TMD是预训练阶段利用梯度下降的大算力对decode only transformer的神经网络的优化压力下激发出来的！

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

6天前

根据DeepMind的研究（Akyürek et al., 2023），ICL等价于： ΔW = u · vᵀ （秩1矩阵） 其中： • u ∈ ℝᵈ：输⼊模式（"问题"的编码） • v ∈ ℝᵈ：输出⽅向（"期望答案"的⽅向）

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1周前

自然语言上下文不是被”翻译”成权重更新，而是直接在潜空间中”编译”成权重更新。 形式语言上下文需要额外的翻译步骤： 形式语言 → 解析 → 语义表示 → 潜空间向量 → ΔW 自然语言上下文直接映射： 自然语言 → 潜空间向量 → ΔW 这就是为什么LLM”更喜欢”自然语言。 其实人也一样，更喜欢自然语言。形式语言源自自然语言中对确定性计算的不足的需要。

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1周前

关键突破：从Transformer到”任何复杂神经网络” 论文的结论部分有个惊人的陈述： “Our results remain valid if the self-attention layer is switched by other forms of contextual layers, like that of a RNN, or any layer that can take an in