#GPT-2

karminski-牙医

2个月前

看到个博主 tycho_brahes_nose_ 搞了个以可视化的方式展示 GPT-2（小型）模型的3D演示。这个演示展示了输入prompt后每个注意力块的注意力权重矩阵的计算过程。注意力头在 y 轴堆叠， token 到 token 的交互在 x 轴和 z 轴上展示。非常有助于大家理解GPT模型是怎么运行的。在线体验地址：

#GPT-2 #人工智能 #模型可视化 #Attention机制 #3D展示

勃勃OC

3个月前

OpenAI 已宣布计划在未来几个月内发布一款新的开源权重语言模型，具有增强的推理能力，这是自 GPT-2 以来的首次此类发布。该举措旨在通过与开发者、研究人员和社区互动，促进 AI 发展的开放性，并收集反馈。此举预计将推动 AI 领域的创新和社区参与。

#OpenAI #开源语言模型 #GPT-2 #推理能力 #AI发展 #社区参与