#涌现

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1周前

涌现是复杂性科学中的一个概念，描述了多体系统如何展现出新型的高阶特性——这些特性可通过用低维有效变量和理论替代高维机制来描述。这一现象可概括为"更多即不同"的理念。智能作为一种完美的涌现特性，体现为运用涌现能力解决问题时效率的持续提升——成本更低且速度更快。这可概括为"少即是多"的理念。本文首先审视关于大型语言模型展现涌现能力的论断，回顾多种量化涌现现象的方法；其次探讨大型语言模型是否具备涌现智能。 Emergence is a concept in complexity science that describes how manybody systems manifest novel higher-level properties, properties that can be described by replacing high-dimensional mechanisms with lower-dimensional effective variables and theories. This is captured by the idea “more is different”. Intelligence is a consummate emergent property manifesting increasingly efficient—cheaper and faster—uses of emergent capabilities to solve problems. This is captured by the idea “less is more”. In this paper, we first examine claims that Large Language Models exhibit emergent capabilities, reviewing several approaches to quantifying emergence, and secondly ask whether LLMs possess emergent intelligence.

#涌现 #大型语言模型 #复杂性科学 #智能 #效率

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

3周前

对称性一：压缩的必然性及悖论经过两次压缩，信息应该丢失更多但在ICL中，有时会"涌现"出新的意义这是因为两次压缩的不对称性创造了新的可能性空间

#多智能体之争：Anthropic生态VS单智能体· 77 条信息

#压缩 #信息丢失 #ICL #涌现 #不对称性

1个月前

🎯 墙内投屏英雄被抓！更多英雄会不断涌现‼️

#墙内 #投屏 #英雄 #被抓 #涌现

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1个月前

LLM的元认知是涌现，还是ICL学习？

#LLM #元认知 #涌现 #ICL学习

3个月前

周末又研究了一下HRM（分层推理模型），这个模型的特点是模仿人类大脑的信息处理机制，高层模块推理慢负责规划，低层模块推理快负责计算。初始状态时，高层模块和低层模块的参与率相似，在经过1000个样本的学习（训练）后，高层模块的参与率明显高于低层模块，也就是说HRM的分层智能并非由设计者硬编码，而是在学习过程中“涌现”出的特性。一个设想：因为HRM只有0.027B的大小，训练新能力也只需要1000个样本，也许可以发展成大模型的工具来用。现在的LLM的tool use/function cal都是调用已有的API和工具，针对特定领域的推理性任务，可以收集1000个样本快速训练出一个HRM模型，然后当做工具来用，这种方式理论上没有天花板。 HRM论文： Github：

#HRM #分层推理模型 #大模型工具 #涌现 #小样本学习

5个月前

今天对谈公众号「孤独大脑」主理人老喻，得到畅销课“人生算法”作者！我们一起聊 “AI 时代的人生算法” 决策闭环、认知切换、涌现的心法和 AGI 时代的人生目标函数😉 敬请谅解✨

#AI时代 #人生算法 #决策闭环 #认知切换 #涌现 #AGI时代 #人生目标函数

5个月前

Ty兄已经开始把认知系统推向宇宙尺度了，我坦白说有点跟不上了。虽然我也是Linvo宇宙观的忠实听众，但面对这种宏大的智能宇宙构图，我自知还无法驾驭，只能先沉下来认真学习。目前对我最重要的一句话是： “复杂系统是涌现的，而非规划的。” 这是我从这一整套结构宇宙思想中真正吸收的关键启示。所以我决定，先放弃对“系统”本身的执念。我不再试图设计一个完整的系统，而是从原子化的结构设计开始，从最小可调度单位——结构卡——出发，一点点构建出属于我自己的生态演化轨道。

#Ty兄 #宇宙尺度 #Linvo宇宙观 #智能宇宙构图 #复杂系统 #涌现 #规划 #原子化结构设计