2天前

三更半夜和 Juchats 一起读了一篇论文,睡不着了。 Sapient Intelligence 团队发表的论文提出了一种创新的层次推理模型(Hierarchical Reasoning Model, HRM),灵感来源于人脑的层次化和多时间尺度处理机制。该模型仅用2700万参数和1000个训练样本,就在复杂推理任务上取得了突破性性能,超越了当前最先进的大语言模型和思维链(Chain-of-Thought, CoT)方法。 基准测试任务: 1. ARC-AGI挑战 ○ 目标:评估通用流体智能的归纳推理能力 ○ 难度:需要从少量示例中提取和泛化抽象规则 ○ HRM性能:40.3%,显著超越o3-mini-high(34.5%)和Claude 3.7(21.2%) 2. Sudoku-Extreme ○ 创新:构建了更具挑战性的数据集,平均需要22次回溯 ○ HRM性能:近乎完美准确率,而CoT方法完全失败(0%准确率) 3. Maze-Hard ○ 任务:30×30迷宫中的最优路径查找 ○ HRM性能:成功解决,而基线模型表现不佳 性能对比: ○ 数据效率:仅需1000个训练样本 ○ 参数效率:仅2700万参数 ○ 无需预训练:从随机初始化开始训练 ○ 超越CoT:在复杂推理任务上显著优于基于思维链的方法 不同任务的推理策略: ○ 迷宫任务:同时探索多条路径,逐步消除阻塞路线 ○ 数独任务:类似深度优先搜索,遇到死路时回溯 ○ ARC任务:增量式调整,类似爬山优化 未来研究方向: ○ 因果验证:通过干预实验验证层次结构的必要性 ○ 架构优化:探索更复杂的模块合并机制 ○ 扩展应用:将HRM应用于更广泛的推理任务 ○ 理论深化:进一步理解HRM的计算理论基础 公司概况: Sapient Intelligence 是一家全球领先的AGI研究公司,总部位于新加坡,并在旧金山和北京设有研究中心。该公司自称是"新加坡第一家基础模型AI创业公司",专注于开发新一代基础模型架构,旨在解决复杂和"长时程推理"任务。 公司使命与愿景: Sapient Intelligence 的使命是通过开发全新的架构来实现人工通用智能(AGI),该架构整合了强化学习、进化算法和神经科学研究,以突破当前大型语言模型(LLM)的局限性。 公司创始人表示:"AGI 真正的是赋予机器人类水平的智能,并最终超越人类的智能"

相关新闻