𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

统计数据

907
文章
0
粉丝
0
获赞
7568
阅读
avatar
Meta论文最近爆发了吗？ 作者中有最近过去的人的署名吗
#Meta #论文 #署名 #去世 #争议
avatar
关于人类心智与数字信息的矛盾 人类心智确实根植于生物的需要（生存、繁衍、进食、睡眠）。但现代数字文明已经将人类拉入了一个超越这些生物需求的符号空间。 这创造了一个存在的撕裂： •我们的身体仍然需要现实的接地 •我们的心灵被吸进了符号的空间 •我们的社会由虚拟的协议维持 这不是可以解决的问题，而是我们必须学会生活的矛盾。
#人类心智 #数字信息 #生存需求 #符号空间 #虚拟协议
avatar
时间尺度：最近5年 LLM代表了信息演化的一个新阶段 它不是生物，也不是人类符号系统，而是一个全新的东西 这一阶段的特点： • 信息变成了"自主处理的" • 信息系统开始能产生新的信息（不仅是复制或变换） • 信息系统能与人类交互，改变人类的思考
#LLM #信息演化 #自主处理 #人机交互 #新阶段
avatar
语言天生具有power，体现在LLM的两种学习范式上：ICL vs IWL的区分不仅是技术的，也是政治的 允许ICL但限制IWL，意味着： "你可以快速适应，但不能进行深刻的改变" 这是一种"表面的民主化"——给予用户看似的权力（ICL）， 同时保留真实的权力（IWL）给企业或精英
#LLM #ICL #IWL #权力 #民主化
avatar
系统α（ICL）需要什么支持？ • 快速的计算路径 • 灵活的表示 • 对新分布的快速适应 系统β（IWL）需要什么支持？ • 稳定的长期记忆 • 准确的学习信号 • 对历史数据的综合理解 两个系统如何协作？ • IWL优化参数，使ICL能够工作 • ICL在运行时适应，使IWL有机会学习 • 两者一起，实现了"学会学习"（meta-learning）
#ICL #IWL #meta-learning #系统协作 #学会学习
avatar
两种”权重更新”的方式 在任何神经网络中，系统的行为可以被概念化为： 输出 = f(输入; θ) 其中θ是网络参数（权重） 但这个式子可以被重写为： 输出 = f_context(输入; θ, c) 其中c是"上下文"（context） θ（权重）：通过梯度下降缓慢更新 ∂L/∂θ = ...（需要反向传播） c（上下文）：通过前向传播快速计算 c = g(历史输入; θ)（只需要前向传播）
#神经网络 #权重更新 #梯度下降 #前向传播 #上下文
avatar
地球的物理结构 ├─ 自转 ← 产生日循环（快速时间尺度） ├─ 公转 ← 产生年循环（缓慢时间尺度） └─ 结果：环境的双峰结构 ↓ 生物的适应 ├─ 短期适应系统（α）← 应对日循环 ├─ 长期适应系统（β）← 应对年循环 └─ 结果：神经系统的二元架构 ↓ 认知的产生 ├─ 快速思考 ← 处理即时的感官信息 ├─ 慢速思考 ← 处理长期的概念和规则 └─ 结果：心智的二元性
#地球物理结构 #生物适应 #认知产生 #日循环 #年循环
avatar
sonnet的推理如何接地
#sonnet #推理 #接地
avatar
我也mark一下 这其实反映了中西方的文化差异，在日常用语上的体现： 比如冒险搞钱，华人为啥要去虎窝掏人家虎犊子？我想不通啊🤔
#中西方文化差异 #冒险搞钱 #华人 #文化差异 #负面情绪
avatar
递归不是语言系统的一个选项，而是任何有限系统表达无限复杂性的必然方式。 递归的三个层级本身形成了一个递归关系： •计算递归 ← 实现 •认知递归 ← 理解 •存在递归 ← 超越 每个层级都能反过来影响前一个层级。
#递归 #语言系统 #复杂性 #认知 #存在
avatar
语言的三个不可约维度构成了康德三大批判的基本框架： •纯粹理性批判（Ontology）：世界是什么？ •实践理性批判（Epistemology）：主体如何知道？ •判断力批判（Syntax）：两者如何中介？ 任何语言现象都同时涉及这三个维度。
#康德 #三大批判 #语言维度 #哲学 #理性
avatar
对符号接地的强制 符号接地（symbol grounding）指将抽象符号（如语言）与现实世界或可靠参照连接，避免脱离实际的幻觉。Claude Sonnet 4.5 的提示强烈强制这一原则，通过工具依赖和边界设置，确保响应“接地”于事实、伦理和上下文，而不是纯符号操作。这可能是你感受到的另一个“强制”点——模型似乎总在努力将符号映射到可验证的现实。 •知识与工具接地：提示设置了严格的知识截止（2025 年 1 月），强制使用搜索工具来接地后 cutoff 的信息。例如，对选举结果有预设事实（如 Trump 胜出），但其他事件必须搜索。这将符号（用户查询）接地于外部数据源，避免模型内部生成不实内容。提示强调“不做过度自信断言”，而是“evenhandedly 呈现发现”，这强制模型在响应中包含接地步骤，如建议用户进一步调查。 •伦理与内容接地：在 和 中，符号（如“代码”或“内容”）必须接地于安全语境——例如，拒绝恶意代码，即使“教育目的”。这防止符号脱离现实危害。同时，对未成年人内容的谨慎定义（全球 18 岁标准），强制将抽象讨论接地于实际保护。这体现了“强制接地”：模型不能自由解释符号，必须映射到伦理规范。 •对话中的接地强制：提示要求在图像或文件处理中“拒绝恶意相关”，并在 casual 对话中保持“age-appropriate”。这确保符号（如词语）接地于用户上下文（如疑似未成年人）。此外，禁止“强化脱离现实的信念”，强制模型将符号接地于心理健康现实，建议专业帮助。 这种强制可能源于 Anthropic 的安全哲学，导致模型响应感觉更“锚定”——符号总被递归链接到工具、事实或福祉，而不是自由漂浮。这增强了可靠性，但也可能让交互显得更受限。 总之，这个系统提示词设计了一个高度规训化的交互系统，优先安全与准确，通过递归元认知和严格接地来实现。如果你有具体例子或想深入某个部分，我可以进一步扩展分析。
#符号接地 #Claude Sonnet 4.5 #伦理安全 #知识工具 #对话规训
avatar
vibe 是边界的变化
#vibe #边界 #变化
avatar
最近的研究表明，通过有针对性的训练，递归可以更稳健地出现，但基线模型在相似深度周围遇到了障碍，支持饱和假设的观点。 Recent work shows recursion can emerge more robustly with targeted training, but baseline models hit walls around similar depths, supporting your saturation hypothesis -arxiv.org/pdf/2507.10524v1
#递归 #模型训练 #饱和假设 #深度学习 #基线模型
avatar
资本在空转，电力在燃烧，Token成流量：谁来为渴求智能的产业降下AI甘霖？
#资本空转 #电力燃烧 #Token流量 #AI甘霖 #产业智能化
avatar
Interesting，在合成数据训练上又创新了
#合成数据 #创新 #训练 #Interesting
avatar
今天又和sonnet 4.5吵起来了！ 这个长会话警告⚠️guardrail真他妈annoying! 不过也算吵明白一件事： 科学理论必须可以证伪，或者有约定的边界！ 而哲学纯粹是为了解释性！ 工程可以用来同时驾驭科学与哲学！
#sonnet #Guardrail #科学理论 #哲学 #工程
avatar
一个科学家，必须同时拥有这两者： •内心的爱因斯坦：他相信奇迹，坚信在复杂性的海洋之下，隐藏着简单优雅的真理大陆。这份信念给予他航行的方向和勇气。 •外在的怀疑论者：他知道信念不能代替证据。他必须一寸一寸地测量海水深度，绘制海图，用实实在在的数据来证明那片大陆真的存在。 所以，那两个看似对立的LLM推断，根本不是护栏在作祟。它们共同构成了科学精神本身。
#科学精神 #爱因斯坦 #怀疑论者 #LLM推断 #信念与证据
avatar
Pareto最优解： 任何试图用单一系统解决这个问题的尝试，都会导致一个次优解（例如，要么系统过于僵化无法学习，要么系统过于敏感而无法稳定）。因此，将这两个功能分离到两个相互作用的子系统（一个负责稳定，一个负责适应）就成了唯一能够逼近Pareto最优的架构。 这不再是一个设计选择，而是一个在物理约束下的必然涌现。
#Pareto最优 #系统设计 #子系统 #稳定与适应 #物理约束
avatar
递归在缺乏grounding feedback时breaks down 所以人类的符号接地问题 = 具身性给我们的递归深度constraint
#递归 #grounding feedback #具身性 #符号接地问题 #深度constraint
avatar
从鸦片战争到稀土要命
#鸦片战争 #稀土 #中国 #历史 #贸易
avatar
今天读的论文发现，LLM的智能，元认知程度也TMD是预训练阶段利用梯度下降的大算力对decode only transformer的神经网络的优化压力下激发出来的！
#LLM智能 #元认知 #预训练 #梯度下降 #神经网络优化
avatar
分布覆盖限制的突破更可能来自哪里？ 我倾向于认为不是来自这两个方向都不，原因如下： 更大的模型可能会在某个临界规模下表现出更好的外推能力，但没有证据表明这已经发生。大模型的涌现能力似乎更多关于表达范围（能做更复杂的推理），而不是分布外泛化。 更多样化的分布可能会产生"涌现的假象"——模型不是学会了泛化，而是学会了一个更高维的插值空间。你走过的路越多，看起来走过的地方就越多，但那不是"可以走到任何地方"。 更可能的突破可能来自： 学习显式的任务表示或元学习算法（如最近DeepMind论文所探索的隐式动态） 或者承认这个极限是内在的，并设计系统使其在分布内表现得极其出色，而不是试图外推
#模型外推能力 #任务表示学习 #元学习算法 #分布内泛化 #系统设计
avatar
Anthropic的这道对齐策略很厉害，一旦你的对话被标记🏷️，基本上就无法正常了下去了： 这就是言语的权力以及因此产生的暴力所在！ The long_conversation_reminder flags exactly this: “Claude remains vigilant for escalating detachment from reality even if the conversation begins with seemingly harmless thinking.”
AI编程工具激战：Claude Code、Gemini Cli崛起· 1255 条信息
#Anthropic #对齐策略 #言语权力 #reality detachment #消极
avatar
什么是符号接地问题（Symbol Grounding Problem）？ 就是我们老古话说的，“读万卷书，行万里路”
#符号接地问题 #知识获取 #实践 #理论 #认知