𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞
14小时前

生物记忆系统至少有三个算法上不同的子系统： 海马体（情节记忆）： 单次写入，时间索引，情绪加权 算法：可能更接近 sparse coding + temporal binding 不像梯度下降 新皮层（语义记忆）： 慢速整合，统计提取，泛化 算法：更接近 Hebbian 可塑性的慢速累积 某种程度上像梯度下降，但时间常数完全不同 工作记忆（L2

#生物记忆 #海马体 #新皮层 #工作记忆 #情节记忆 #语义记忆 #记忆算法 #sparse coding #temporal binding #Hebbian 可塑性 #梯度下降

相关新闻

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

5小时前

Saining Xie让我们社区重新审视在LLM中的entangled，把目光投向人类新皮层的L2/3层的表征。

placeholder

花果山大圣

4个月前

看这个论文之前，我只是不懂注意力到底是个什么概念 研究了半天并且和 chatgpt 聊了几十轮后，现在不懂的东西有梯度下降，过拟合，决策树，SVM，深度神经网络，LSTM等 相比起来 rust 简单多了🧐

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

5个月前

LLM不能："我发现自己有偏见，让我修改权重" 因为： - 修改权重需要梯度下降 - 梯度下降需要损失函数 - 损失函数需要外部监督（人类标注） IWL是"他律"的，不是"自律"的。 IWL也不能实时适应与个性化。

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

5个月前

两种”权重更新”的方式 在任何神经网络中，系统的行为可以被概念化为： 输出 = f(输入; θ) 其中θ是网络参数（权重） 但这个式子可以被重写为： 输出 = f_context(输入; θ, c) 其中c是"上下文"（context） θ（权重）：通过梯度下降缓慢更新 ∂L/∂θ = ...（需要反向传播） c（上下文）：通过前向传播快速计算 c = g(历史输入; θ)（

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

5个月前

今天读的论文发现，LLM的智能，元认知程度也TMD是预训练阶段利用梯度下降的大算力对decode only transformer的神经网络的优化压力下激发出来的！