#transformer模型

karminski-牙医

3天前

Rust 当然可以重写一切，Rust 重写的 Transformer 模型来了！需要注意这个实现完全不依赖CUDA，而是底层仅使用了 ndarray （Rust 的科学计算库）来实现了矩阵运算。进而实现了全部的库。可以当作一个学习型项目看一看。项目地址：

#Rust #transformer模型 #ndarray #科学计算库 #学习型项目

5天前

在 transformer 模型里，注意力权重很容易集中到序列开头的几个 token 上，尤其是第一个，这个现象叫做attention sink。之前很多论文的解释是，模型这么做是为了作为锚点。但这篇文章提出了一个另外的观点：这根本不是模型学会的策略，而是 causal transformer 的数学结构天然就会导致的结果。因为一旦引入 causal mask，attention 就相当于在一个有向无环图（DAG）上传播。信息和梯度都会自然往图的汇点（sink）聚集，而在这种结构下，汇点就是前几个 token。于是 attention mass 就越来越往前集中。

#transformer模型 #注意力权重 #attention sink #causal mask #有向无环图