𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

0 关注者

1个月前

LLM不能:"我发现自己有偏见,让我修改权重" 因为: - 修改权重需要梯度下降 - 梯度下降需要损失函数 - 损失函数需要外部监督(人类标注) IWL是"他律"的,不是"自律"的。 IWL也不能实时适应与个性化。

#LLM偏见 #梯度下降 #外部监督 #他律 #非自律

相关新闻

placeholder

花果山大圣

6天前

看这个论文之前,我只是不懂注意力到底是个什么概念 研究了半天并且和 chatgpt 聊了几十轮后,现在不懂的东西有梯度下降,过拟合,决策树,SVM,深度神经网络,LSTM等 相比起来 rust 简单多了🧐

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1个月前

两种”权重更新”的方式 在任何神经网络中,系统的行为可以被概念化为: 输出 = f(输入; θ) 其中θ是网络参数(权重) 但这个式子可以被重写为: 输出 = f_context(输入; θ, c) 其中c是"上下文"(context) θ(权重):通过梯度下降缓慢更新 ∂L/∂θ = ...(需要反向传播) c(上下文):通过前向传播快速计算 c = g(历史输入; θ)(

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1个月前

今天读的论文发现,LLM的智能,元认知程度也TMD是预训练阶段利用梯度下降的大算力对decode only transformer的神经网络的优化压力下激发出来的!

placeholder

硅谷王川 Chuan

3个月前

“我的发际线在梯度下降 ” :)

© 2025 news.news. All rights reserved. 0.08243 秒. v1.0.46
我的评论