#自注意力机制

2天前

Attention is all you need，顺着历史脉络去看 Transformer 自注意力机制的发展，还经历了Bag-of-Words、Word2vec、RNN、Attention 等概念的演进。《图解大模型》把 LLM 的内部原理，包括预训练、微调、语言模型的应用和优化等，一步步做了图解分析，写得挺不错👍

#transformer #自注意力机制 #大模型 #图解分析 #LLM

5个月前

这个方法重要啊！生成一致性更好的长视频，解决长视频上下文难题！Test-Time Training 为解决当前 Transformer 架构依旧难以生成长达一分钟的视频（自注意力机制在处理长上下文时的低效所导致），研究提出了新的 Test-Time Training 层，其隐藏状态本身可以是神经网络，因此比传统层更具表现力，从而实现更具一致性、自然度和美感的长视频生成项目页（视频来自此）：论文：代码：

#长视频 #Test-Time Training #transformer #自注意力机制 #视频生成