1个月前

生物脑中: ∙Attention = 在神经流形上的动态采样(Navigation) ∙Memory = 突触连接的可塑性(Remapping能力) ∙Learning = 通过预测误差驱动的Remapping 在Transformer中: ∙Attention = 在token空间的加权关联(Navigation) ∙Memory(参数) = 权重矩阵的固化(慢Remapping) ∙Memo

热门新闻