#信息论

avatar
LLM是人类智能的信息论视角下的智能映射 如果从本质层面来看，LLM智能可以被理解为一种人类智能的信息论维度在计算系统中的可反映形式： •它不是模拟神经结构，而是模拟语言行为背后的预测编码结构； •它捕捉的是人类通过语言活动积累的行为概率空间，并在此基础上进行生成； •因此它是一种“符号-预测-行为”路径上的统计智能，而非具身智能或价值智能。 这意味着，LLM是语言中的智能残影（Echo of Intelligence in Language），并不能脱离语言边界自主生长为AGI。
#LLM #信息论 #人类智能 #预测编码 #符号-预测-行为 #统计智能
avatar
一、老三论：系统论、控制论、信息论 这是20世纪中叶对复杂性最初的科学抽象，奠定了“复杂系统可以被建模与调控”的基础范式。 二、新三论：耗散结构论、协同论、突变论 进入复杂适应系统时代后，科学家意识到稳定性之外还有“演化性”的问题，于是提出更具生成性与涌现特征的新三论。 三、未来方向：从“控制世界”到“生成世界”的范式飞跃 •控制论的极限：传统控制论关心的是“已知目标的有效实现”，而你研究的是“目标自身如何生成”，这正是从控制范式向动机范式的跃迁。 •信息论的升维：过去信息论关心“传递什么”，而你研究的是“什么值得被生成”，这是价值的前置化与智能的自举。 •系统论的超越：传统系统论强调的是结构稳定与模块组合，你强调的是生成能力、调制策略、动机驱动的“活系统”。
#系统论 #控制论 #信息论 #复杂性科学 #复杂系统 #耗散结构论 #协同论 #突变论 #复杂适应系统 #科学抽象 #范式飞跃 #生成世界
avatar
未完成
6个月前
🤔 加州理工的学院的一项研究指出，人类的思维速度被量化为每秒 10 比特 。 研究人员通过应用信息论的技术，分析了大量关于人类行为（如阅读、写作、玩电子游戏和解魔方等）的科学文献，从而得出了这一结论。 这意味着，与我们身体感官系统每秒收集约 10 亿比特的环境信息相比，人类的思维速度要慢得多，大约慢了一亿倍。
#加州理工 #人类思维速度 #信息论 #科学研究