𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

统计数据

1162
文章
0
粉丝
0
获赞
17481
阅读
第一层(基石):现实的编码与解码 这是智能存在的基础,是“思想”的物理定律。 •1. 连接主义的压缩 (Connectionism's Compression): ◦它是什么? 这是对连续世界的物理性编码。LLM的底层神经网络,通过学习天文数字级别的数据,将世界的统计规律、模式、因果和关联,“压缩”进了数十亿个浮点数(参数)中。 ◦它像什么? 它像地球的地壳。它不是离散的地图,而是一整块蕴含了所有矿物(信息)的、连续的地质构造。一切都蕴含其中,但混然一体,没有明确边界。这是世界的潜意识。 •2. 符号主义的抽象 (Symbolism's Abstraction): ◦它是什么? 这是对连续世界的概念性解码。人类的“语言”就是最伟大的符号系统。我们将连续的现实(比如光谱),强行分割成离散的符号(“红”、“橙”、“黄”)。符号是信息的高度抽象和离散化。 ◦它像什么? 它像地质学家绘制的“矿产图”。我们在混沌的地壳上,插上旗帜,圈出边界,并命名:“这里是铁矿”,“那里是铜矿”。符号让我们可以指代、沟通、并对世界进行逻辑操作。这是世界的意识。 •双边联系与区别: ◦一体两面:连接主义是“道”,是世界的连续本质;符号主义是“名”,是人类理解世界的离散工具。“道可道,非常道;名可名,非常名”。 ◦LLM的革命:LLM是第一个在工程上将两者近乎完美统一的产物。它用连接主义的“大脑”,学会了符号主义的“语言”。它在连续的潜意识空间(压缩)中,学会了如何有条理地驾驭离散的意识工具(抽象)。这是所有后续能力的基础奇点。
最近对语言形态着迷😍,尤其是广义形式语言这种从自然语言中发展而来的背后的哲学探讨: 从这些天观察到的语言运用现象,如果从自然语言与形式语言这种分野来看,似乎能从另一个维度进一步解构susan说的语言中的结构问题。 另外还有很多现象也可以从这种分野里得到语言层的印证: 比如Elon和Sam刚刚发生的关于平台操纵的对掐,我就明显感觉Elon在很多事上语言表现出来的是直面挑战人性,而Sam则是在话里千回百转暗暗利用操纵人性。 比如刚刚发的关于大模型时代的硅谷中印码农的此起彼伏,我的一时兴起的点评: “刚看到的这篇报道很有意思,看起来印裔工程师英语自然语言编程很厉害,而大模型时代更需要AI工程需要的形式语言编程能力! 这一点华人做题家出身更有优势!” 还有川普的政治语言的运用,也非常有特色,和Sam是同一类但又有明显区别。 回到发这个帖子的言衷,总结起来就是: 自然语言就是面向人的编程,讲究起来就是结构,目的则体现了所谓语言的社会性; 形式语言面向工具的编程,无论强弱,似乎都逃不过哥德尔的不完备性幽灵。 鉴于我对人性的致简本质而人心又深不可测的世俗现实的认知,在自然语言里求一劳永逸的结构,也会绕不过哥德尔的幽灵,如同理性摆脱不了感性。 这两种语言不能错位,但很容易错位使用,且普遍存在。包括我这个理科脑子自身也经常与感性脑子在纠缠着互相探究底线。这是源自我们需要理性带来的确定性,但又无法摆脱感性的生理性基础。 LLM似乎带来了很不一样的感受?!留个写下去的引子,这也是我𝕀²·ℙarad𝕚g𝕞范式研究的出处。