𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞
1个月前
两种”权重更新”的方式 在任何神经网络中,系统的行为可以被概念化为: 输出 = f(输入; θ) 其中θ是网络参数(权重) 但这个式子可以被重写为: 输出 = f_context(输入; θ, c) 其中c是"上下文"(context) θ(权重):通过梯度下降缓慢更新 ∂L/∂θ = ...(需要反向传播) c(上下文):通过前向传播快速计算 c = g(历史输入; θ)(
𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞
1个月前
今天读的论文发现,LLM的智能,元认知程度也TMD是预训练阶段利用梯度下降的大算力对decode only transformer的神经网络的优化压力下激发出来的!
硅谷王川 Chuan
3个月前
“我的发际线在梯度下降 ” :)