从零实现 vLLM 的第四篇文章，我们将目光转向 Transformer 架构中另一个看似简单、却至关重要的组件：RMSNorm（均方根归一化）。我们先来看看什么是归一化，假设你刚考完期末考试，三门课的成绩出来了：数学：120分（满分150）英语：80分（满分100）物理：160分（满分200）哪门课考得最好？如果你直接比较 120、80、160，会得出物理最好的结论。但真实情况是：

#vLLM #Transformer架构 #RMSNorm #归一化 #神经网络

相关新闻

汉松

3天前

从零实现 vLLM (1.4）：RMSNorm 如何解决训练不稳定：从零实现 vLLM (1.3）：如何加速 Attention 计算：从零实现 vLLM (1.2）：如何实现张量并行：从零实现 vLLM (1.1）：并行词嵌入 VocabParallelEmbedding：

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1周前

两种”权重更新”的方式在任何神经网络中，系统的行为可以被概念化为：输出 = f(输入; θ) 其中θ是网络参数（权重）但这个式子可以被重写为：输出 = f_context(输入; θ, c) 其中c是"上下文"（context） θ（权重）：通过梯度下降缓慢更新 ∂L/∂θ = ...（需要反向传播） c（上下文）：通过前向传播快速计算 c = g(历史输入; θ)（

orange.ai

1周前

我今天花了一小时读了一篇文章《语言：生于智能并终将成为智能》核心观点是：压缩就是智能。生命对抗熵增需要最大化能量效率。大脑是一台高效的压缩机器——能耗20瓦，但算力惊人。智商越高，计算能耗越低。人类为了传递经验发明了语言，语言本质上就是对现实的压缩。到了AI时代，关系反过来了：以前是：现实 → 人类智能 → 语言（传递工具）现在是：语言 → AI → 现实语言不再只是传递工

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

2周前

根据DeepMind的研究（Akyürek et al., 2023），ICL等价于： ΔW = u · vᵀ （秩1矩阵）其中： • u ∈ ℝᵈ：输⼊模式（"问题"的编码） • v ∈ ℝᵈ：输出⽅向（"期望答案"的⽅向）

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

2周前

关键突破：从Transformer到”任何复杂神经网络” 论文的结论部分有个惊人的陈述： “Our results remain valid if the self-attention layer is switched by other forms of contextual layers, like that of a RNN, or any layer that can take an in