周末又研究了一下HRM（分层推理模型），这个模型的特点是模仿人类大脑的信息处理机制，高层模块推理慢负责规划，低层模块推理快负责计算。初始状态时，高层模块和低层模块的参与率相似，在经过1000个样本的学习（训练）后，高层模块的参与率明显高于低层模块，也就是说HRM的分层智能并非由设计者硬编码，而是在学习过程中“涌现”出的特性。一个设想：因为HRM只有0.027B的大小，训练新能力也只需要10

#HRM #分层推理模型 #大模型工具 #涌现 #小样本学习

相关新闻

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1周前

涌现是复杂性科学中的一个概念，描述了多体系统如何展现出新型的高阶特性——这些特性可通过用低维有效变量和理论替代高维机制来描述。这一现象可概括为"更多即不同"的理念。智能作为一种完美的涌现特性，体现为运用涌现能力解决问题时效率的持续提升——成本更低且速度更快。这可概括为"少即是多"的理念。本文首先审视关于大型语言模型展现涌现能力的论断，回顾多种量化涌现现象的方法；其次探讨大型语言模型是否具备

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

3周前

对称性一：压缩的必然性及悖论经过两次压缩，信息应该丢失更多但在ICL中，有时会"涌现"出新的意义这是因为两次压缩的不对称性创造了新的可能性空间

海外爆料

4周前

🎯 墙内投屏英雄被抓！更多英雄会不断涌现‼️

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1个月前

LLM的元认知是涌现，还是ICL学习？

𝗖𝘆𝗱𝗶𝗮𝗿

3个月前

三更半夜和 Juchats 一起读了一篇论文，睡不着了。 Sapient Intelligence 团队发表的论文提出了一种创新的层次推理模型（Hierarchical Reasoning Model, HRM），灵感来源于人脑的层次化和多时间尺度处理机制。该模型仅用2700万参数和1000个训练样本，就在复杂推理任务上取得了突破性性能，超越了当前最先进的大语言模型和思维链（Chain-of-T