#梯度下降

avatar
看这个论文之前，我只是不懂注意力到底是个什么概念 研究了半天并且和 chatgpt 聊了几十轮后，现在不懂的东西有梯度下降，过拟合，决策树，SVM，深度神经网络，LSTM等 相比起来 rust 简单多了🧐
#注意力机制 #深度学习 #梯度下降 #过拟合 #Rust
avatar
LLM不能："我发现自己有偏见，让我修改权重" 因为： - 修改权重需要梯度下降 - 梯度下降需要损失函数 - 损失函数需要外部监督（人类标注） IWL是"他律"的，不是"自律"的。 IWL也不能实时适应与个性化。
#LLM偏见 #梯度下降 #外部监督 #他律 #非自律
avatar
两种”权重更新”的方式 在任何神经网络中，系统的行为可以被概念化为： 输出 = f(输入; θ) 其中θ是网络参数（权重） 但这个式子可以被重写为： 输出 = f_context(输入; θ, c) 其中c是"上下文"（context） θ（权重）：通过梯度下降缓慢更新 ∂L/∂θ = ...（需要反向传播） c（上下文）：通过前向传播快速计算 c = g(历史输入; θ)（只需要前向传播）
#神经网络 #权重更新 #梯度下降 #前向传播 #上下文
avatar
今天读的论文发现，LLM的智能，元认知程度也TMD是预训练阶段利用梯度下降的大算力对decode only transformer的神经网络的优化压力下激发出来的！
#LLM智能 #元认知 #预训练 #梯度下降 #神经网络优化
avatar
“我的发际线在梯度下降 ” :)
#发际线 #梯度下降 #焦虑 #程序员 #幽默