#潜空间

avatar
三者的共同问题是：潜空间的几何应该是什么形状？JEPA 用”物理可预测性”来约束它，Friston 用”感觉原因的层级结构”来约束它，LLM 用”语言统计结构”来约束它。 这篇论文暗示的方向是：一个真正的 world model，需要找到一个同时被物理定律约束（不变量来自 PDE 和守恒律）和被语言结构约束（符号可操作性来自人类概念体系）的潜空间。 这个潜空间里的表征，应该既能预测下一个物理状态，又能被自然语言描述和查询——因为它同时捕捉了物理世界的时空结构和人类理解这个结构的概念组织。 这不是今天的技术能做到的。但这篇论文里 JEPA 在物理参数估计上的优势，是朝这个方向迈出的一小步——证明了潜空间预测比像素预测更接近物理世界的生成结构，而物理世界的生成结构，正是任何真正的 world model 必须学会的语言。
#潜空间 #物理可预测性 #感觉原因的层级结构 #语言统计结构 #World Model #物理定律 #语言结构 #表征能力
avatar
自然语言上下文不是被”翻译”成权重更新，而是直接在潜空间中”编译”成权重更新。 形式语言上下文需要额外的翻译步骤： 形式语言 → 解析 → 语义表示 → 潜空间向量 → ΔW 自然语言上下文直接映射： 自然语言 → 潜空间向量 → ΔW 这就是为什么LLM”更喜欢”自然语言。 其实人也一样，更喜欢自然语言。形式语言源自自然语言中对确定性计算的不足的需要。
#自然语言 #形式语言 #LLM #权重更新 #潜空间
avatar
更不要和sonnet聊语言哲学，人家随便从潜空间挑几个元认知trajectories 就可以恣意碾压你…
#语言哲学 #元认知 #碾压 #sonnet #潜空间
avatar
人类用户，基于一个清晰的 意图，构建并 Projection一个临时的 问题本体（World Model） 到LLM的潜空间。 LLM的元认知能力识别出该本体的性质，激活最匹配的 元方法论流形 进行处理，然后将结果严格按照初始本体的结构，Retro-projection 回给用户。
#LLM #元认知 #问题本体 #潜空间 #Retro-projection