这个方法重要啊！生成一致性更好的长视频，解决长视频上下文难题！Test-Time Training 为解决当前 Transformer 架构依旧难以生成长达一分钟的视频（自注意力机制在处理长上下文时的低效所导致），研究提出了新的 Test-Time Training 层，其隐藏状态本身可以是神经网络，因此比传统层更具表现力，从而实现更具一致性、自然度和美感的长视频生成项目页（视频来自此）：

#长视频 #Test-Time Training #transformer #自注意力机制 #视频生成

相关新闻

歸藏(guizang.ai)

19小时前

Grok 的 Imagine v0.9 视频生成模型正式发布了。默认无提示词生成，生成速度很快，同时质量也不错，尺度更是大的离谱，还免费，可以去玩玩。

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1天前

ICL的表达力边界定理（ICL的容量限制）：如果上下文长度为 L，隐藏维度为 d，则ICL最多能表示秩为 min(L, d) 的函数。推论： •对于 L=100, d=1000 的Transformer •ICL最多能学习”100维的线性子空间” •远小于IWL的 d²=1,000,000 维参数空间这解释了： •为什么ICL适合”快速适应”（低秩近似足够） •为什么IWL适合”长期学习”

歸藏(guizang.ai)

2天前

卧槽，试了一下 grok 新的视频生成能力，完全漏点都可以，老马还是猛啊这个视频我裁切一半，原始的生成结果下面没穿

nicekate

2天前

马斯克说 Grok Imagine 模型升级了，试了下 Grok 官网，视频生成效果相当不错，生成速度快，视频无可见水印，有声音以下视频都是图片生成视频（没有提示，自动生成视频）生成后的视频和我发给它的图片一致性保持相当好物理真实性很好一些画面 Veo 生成不了，Grok 可以小问题：视频音效欠佳瑕不掩瑜，8刀 X 会员性价比很高

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

2天前

关键突破：从Transformer到”任何复杂神经网络” 论文的结论部分有个惊人的陈述： “Our results remain valid if the self-attention layer is switched by other forms of contextual layers, like that of a RNN, or any layer that can take an in