#Attention机制

karminski-牙医

2个月前

看到个博主 tycho_brahes_nose_ 搞了个以可视化的方式展示 GPT-2（小型）模型的3D演示。这个演示展示了输入prompt后每个注意力块的注意力权重矩阵的计算过程。注意力头在 y 轴堆叠， token 到 token 的交互在 x 轴和 z 轴上展示。非常有助于大家理解GPT模型是怎么运行的。在线体验地址：

#GPT-2 #人工智能 #模型可视化 #Attention机制 #3D展示