#GPT-2

看到个博主 tycho_brahes_nose_ 搞了个以可视化的方式展示 GPT-2（小型）模型的3D演示。 这个演示展示了输入prompt后每个注意力块的注意力权重矩阵的计算过程。注意力头在 y 轴堆叠， token 到 token 的交互在 x 轴和 z 轴上展示。非常有助于大家理解GPT模型是怎么运行的。 在线体验地址：

OpenAI 已宣布计划在未来几个月内发布一款新的开源权重语言模型，具有增强的推理能力，这是自 GPT-2 以来的首次此类发布。该举措旨在通过与开发者、研究人员和社区互动，促进 AI 发展的开放性，并收集反馈。此举预计将推动 AI 领域的创新和社区参与。