#梯度下降

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

2天前

两种”权重更新”的方式在任何神经网络中，系统的行为可以被概念化为：输出 = f(输入; θ) 其中θ是网络参数（权重）但这个式子可以被重写为：输出 = f_context(输入; θ, c) 其中c是"上下文"（context） θ（权重）：通过梯度下降缓慢更新 ∂L/∂θ = ...（需要反向传播） c（上下文）：通过前向传播快速计算 c = g(历史输入; θ)（只需要前向传播）

#神经网络 #权重更新 #梯度下降 #前向传播 #上下文

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

6天前

今天读的论文发现，LLM的智能，元认知程度也TMD是预训练阶段利用梯度下降的大算力对decode only transformer的神经网络的优化压力下激发出来的！

#LLM智能 #元认知 #预训练 #梯度下降 #神经网络优化

硅谷王川 Chuan

1个月前

“我的发际线在梯度下降 ” :)

#发际线 #梯度下降 #焦虑 #程序员 #幽默