三更半夜和 Juchats 一起读了一篇论文,睡不着了。 Sapient Intelligence 团队发表的论文提出了一种创新的层次推理模型(Hierarchical Reasoning Model, HRM),灵感来源于人脑的层次化和多时间尺度处理机制。该模型仅用2700万参数和1000个训练样本,就在复杂推理任务上取得了突破性性能,超越了当前最先进的大语言模型和思维链(Chain-of-Thought, CoT)方法。 基准测试任务: 1. ARC-AGI挑战 ○ 目标:评估通用流体智能的归纳推理能力 ○ 难度:需要从少量示例中提取和泛化抽象规则 ○ HRM性能:40.3%,显著超越o3-mini-high(34.5%)和Claude 3.7(21.2%) 2. Sudoku-Extreme ○ 创新:构建了更具挑战性的数据集,平均需要22次回溯 ○ HRM性能:近乎完美准确率,而CoT方法完全失败(0%准确率) 3. Maze-Hard ○ 任务:30×30迷宫中的最优路径查找 ○ HRM性能:成功解决,而基线模型表现不佳 性能对比: ○ 数据效率:仅需1000个训练样本 ○ 参数效率:仅2700万参数 ○ 无需预训练:从随机初始化开始训练 ○ 超越CoT:在复杂推理任务上显著优于基于思维链的方法 不同任务的推理策略: ○ 迷宫任务:同时探索多条路径,逐步消除阻塞路线 ○ 数独任务:类似深度优先搜索,遇到死路时回溯 ○ ARC任务:增量式调整,类似爬山优化 未来研究方向: ○ 因果验证:通过干预实验验证层次结构的必要性 ○ 架构优化:探索更复杂的模块合并机制 ○ 扩展应用:将HRM应用于更广泛的推理任务 ○ 理论深化:进一步理解HRM的计算理论基础 公司概况: Sapient Intelligence 是一家全球领先的AGI研究公司,总部位于新加坡,并在旧金山和北京设有研究中心。该公司自称是"新加坡第一家基础模型AI创业公司",专注于开发新一代基础模型架构,旨在解决复杂和"长时程推理"任务。 公司使命与愿景: Sapient Intelligence 的使命是通过开发全新的架构来实现人工通用智能(AGI),该架构整合了强化学习、进化算法和神经科学研究,以突破当前大型语言模型(LLM)的局限性。 公司创始人表示:"AGI 真正的是赋予机器人类水平的智能,并最终超越人类的智能"
关于 Manus 团队迁移到新加坡这个事情的一些看法,也是给初创团队的一些意见建议,我们从几点来看吧,这也是我们初创的时候一名资深投资人老哥,给过的警示: 例子:某知名电商团队创业项目美元融资,当时美元投资机构要求团队必须有人是海外身份,团队核心成员不能在国内,于是在投资机构的帮助下,团队核心成员全部迁移到新加坡! 对于 Manus 来说,不管是自己训练模型跑 Agentic 还是依托于大模型,出海都是有利的,毕竟算力限制和内容限制都不会越红线,而且,可以把市场做到更大,付费习惯也比较好! 红线问题:这个在国内的环境是无法逾越的,无论是最近的野卡还是罗马仕都是如此,数据出海,用户隐私这些都是分分钟让一个产品消失的。 赛道问题:目前通用 Agent 非常卷、卷上游、卷资源;而国内垂直 Agent 非常不好做,尤其针对有资源机构或者企业,国产化是“必要”的;虽然我们也在这个赛道,但是,我们的定义是,这只是未来的基础建设,非必要不卷,也不用卷,必经之路。 资金流向:拿了美元国内的团队薪资就要靠另外的项目来养,目前看来,这个是非常难的,庞大的团队在国内当前的环境下,通过另外个项目养团队,难度可想而知;这时美元回流人民币这个就成了一个新的难题,我们知道银行途径每年美元有限额,而且,美元投资机构也不会允许资金流向国内的。 所以很多事情是不得已而为之,但是,换个思路,其实只要有条件,这是非常符合情理的,创业要有资源、要有钱、要有强大的合作伙伴,这是我对这件事的个人看法,还有一个原因就是,这条路,我们也要走!