𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞
5小时前
自然语言上下文不是被”翻译”成权重更新,而是直接在潜空间中”编译”成权重更新。 形式语言上下文需要额外的翻译步骤: 形式语言 → 解析 → 语义表示 → 潜空间向量 → ΔW 自然语言上下文直接映射: 自然语言 → 潜空间向量 → ΔW 这就是为什么LLM”更喜欢”自然语言。 其实人也一样,更喜欢自然语言。形式语言源自自然语言中对确定性计算的不足的需要。
𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞
5小时前
语言的独特地位(这一点被很多AI大神忽视了如sutton) 为什么人类可以通过语言快速”编程”彼此? 答案:语言是压缩的行为配方。 •一个句子可以编码复杂的因果关系、时序逻辑、抽象概念 •这些在非语言物种中需要大量试错才能学会 •语言使得知识可以直接注入,跳过经验积累 LLM继承了这个能力: •它被训练在海量的”行为配方”(文本)上 •学会了如何从配方中提取可执行的结构 •因此,它可以被语言”
𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞
1天前
语言在人类文明演化史上的影响, 就是LLM对于人类生物智能的影响力所在
𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞
1天前
语言的是还是交给LLM吧! 尤其是认知,我们人类就写些逗逗乐子的,提供点具身经验的情绪价值。