#前向传播

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1个月前

两种”权重更新”的方式在任何神经网络中，系统的行为可以被概念化为：输出 = f(输入; θ) 其中θ是网络参数（权重）但这个式子可以被重写为：输出 = f_context(输入; θ, c) 其中c是"上下文"（context） θ（权重）：通过梯度下降缓慢更新 ∂L/∂θ = ...（需要反向传播） c（上下文）：通过前向传播快速计算 c = g(历史输入; θ)（只需要前向传播）

#神经网络 #权重更新 #梯度下降 #前向传播 #上下文

4个月前

谷歌发布了一篇新的关于LLM如何通过上下文进行学习的Paper，给未来GEO优化提供了些新的方向：论文的核心发现是，LLM能够在不更新权重的情况下，通过前向传播（forward pass）中的低秩更新（rank-1 tweak）来适应新模式。这种机制表明，模型可以通过上下文提示动态调整其行为，而无需传统的梯度下降训练。

Google Gemini 2.5发布引发AI模型性价比热议· 475 条信息

OpenAI新德里发布会：ChatGPT语音翻译功能引发热议· 867 条信息

#LLM #GEO优化 #上下文学习 #低秩更新 #前向传播