#语言统计结构

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1周前

三者的共同问题是：潜空间的几何应该是什么形状？JEPA 用”物理可预测性”来约束它，Friston 用”感觉原因的层级结构”来约束它，LLM 用”语言统计结构”来约束它。这篇论文暗示的方向是：一个真正的 world model，需要找到一个同时被物理定律约束（不变量来自 PDE 和守恒律）和被语言结构约束（符号可操作性来自人类概念体系）的潜空间。这个潜空间里的表征，应该既能预测下一个物理状态，又能被自然语言描述和查询——因为它同时捕捉了物理世界的时空结构和人类理解这个结构的概念组织。这不是今天的技术能做到的。但这篇论文里 JEPA 在物理参数估计上的优势，是朝这个方向迈出的一小步——证明了潜空间预测比像素预测更接近物理世界的生成结构，而物理世界的生成结构，正是任何真正的 world model 必须学会的语言。

#潜空间 #物理可预测性 #感觉原因的层级结构 #语言统计结构 #World Model #物理定律 #语言结构 #表征能力