Y11
2个月前
小红书的招聘需求写得真好,有兴趣的朋友可以报名 ----- 策略算法实习生 小红书集团 · 北京|上海 职位描述 参与核心策略设计与实现:深入小红书音视频、直播、图片等内容的分发与体验优化全链路,参与转码、下发、消费等核心策略的设计、编码与迭代,并且可以设计清晰、可扩展的技术方案,并通过高质量的代码实现它; 有数据挖掘和数据分析能力,并且可以在真实的业务场景中,学习并运用AB实验、因果推断等科学方法评估策略效果; 同时探索强化学习、大模型等前沿技术在用户体验优化领域的应用可能; 职位要求 本科及以上学历,计算机、软件工程、数学等相关专业; 必备优秀的编码能力与算法基础,熟练掌握至少一门主流编程语言(如Python/Go/C++/Java),数据结构与算法功底扎实; 强烈的求知欲与卓越的思维潜力,对强化学习、大模型等技术怀有浓厚兴趣,并愿意深入探索,并且具备清晰的逻辑思维,能够对复杂问题进行有效拆解和分析; 强大的内在驱动力与“成事”潜质,有冲劲,对自己有高要求,渴望在挑战中快速成长; 加分项:在ACM等竞赛中取得过优异成绩、有高质量的技术博客、开源项目贡献或个人项目、或者在机器学习、自然语言处理、信息检索、数据挖掘等领域的顶级会议(ACL/EMNLP/SIGIR/KDD/CIKM等)上发表过论文; 投递地址:
indigo
2个月前
就像 Demis 所说的,我们距离人类级别的通用智能还需要至少两个范式突破!最近 X 上备受关注的来自 Google Research 的论文「Nested Learning」也许能带来一些突破的希望,团队用 HOPE 作为验证架构的名字,足以显示其信心,它会不会是下一个 Transformer 呢?竟然又出自于 Google … 现在 LLM 最大问题,就是“灾难性遗忘”。虽然它们功能强⼤,但本质上是静态的,在预训练后就停⽌学习,⽆法持续获取新知识。这种状态类似于“顺⾏性遗忘症”:模型拥有⻓期记忆(预训练知识)和短暂的⼯作记忆(上下⽂窗⼝),但两者之间的桥梁是 断裂的, ⽆法形成新的持久记忆。简单地堆叠更多层(增加深度)并不能解决这个根本 问题。 真正的深度不是空间的“高”,而是时间的“深”。Nested Learning (NL) 认为,模型不应该是一个静态的千层饼,而应该是一组嵌套的齿轮系统 。 - 有些齿轮转得慢(长期记忆/预训练知识) - 有些齿轮转得快(短期适应/上下文学习) - 真正的智能,是不同转速的齿轮在同时咬合、运行 我们的大脑,是在多时间尺度上进行“持续学习”的。神经元结构的⼀致性使得⼤脑可以灵活地重组⾃身;⼤脑不依赖于单⼀的中央时钟,而是用不同的神经回路以不同的频率运作(如脑电波),实现快速整合与⻓期巩固的平衡。 深度学习其实是嵌套学习的“扁平化”投影,就像低维是高纬的平面化投影一样。在 NL 框架下,每个“层级”都有其⾃身的“上下⽂流”和“更新频率”,这使得所有内部学习过程都变得透明且可⽤数学语⾔描述。这样,模型不需要让所有参数都用同一个速度更新,让浅层参数快速适应(像海马体处理新记忆),而让深层参数缓慢沉淀(像大脑皮层存储旧知识)。 优化器(Optimizer)本质上就是一种记忆系统。这是论文中最具颠覆性的洞见,假如你把梯度下降看作是一个“正在学习如何遗忘和记忆”的过程呢? - SGD 是一个初级记忆体,它试图把数据映射到“惊讶”(Error / Surprise)上; - Momentum(动量)是一个更高阶的记忆体,它记住了过去梯度的方向; 整个神经网络,从优化算法到注意力机制,本质上都是一个个嵌套的、试图压缩信息的循环。并没有所谓的“架构” vs “算法”,它们是一体两面。 — 现在,团队从第⼀性原理出发,设计⼀个完全拥抱嵌套学习范式的模型架构 - HOPE,它不是简单的 Transformer,更像一个能自我进化的系统: - Self-Modifying Titans(自我修改的泰坦): 它能学习如何修改自己的更新算法,这就像一个人不仅在学习知识,还在学习“如何学习”; - Continuum Memory(连续谱记忆): 抛弃非黑即白的“长/短记忆”二分法,建立一个多级变速的记忆齿轮箱; HOPE 不仅是⼀个理论构造,它在实践中也展现了 SOTA 性能,在 1.3B 参数规模下优于 Transformer / RetNet / Titans,尤其在语言建模和常识推理上。 我觉得这篇论文的名字取得很有深度,很多人把它并比作“Attention is All You Need V2”。传统深度学习的“深度”只是计算的⼀维视⻆,这是过去的幻象;现在的现实是:嵌套学习揭示了第⼆个维度 —— 拥有不同更新频率的“学习层级”。 这个新视⻆不仅帮助我们更好地理解现有模型,更重要的是,它指导我们设计出像 HOPE 这样更强⼤、 具备持续学习能⼒的新架构。
Nagi Yan
2个月前
《为什么大模型总是说着说着就从中文跳成英文?》 因为未来 AI 的终极方向根本不是“记忆”,而是“结构。” 我们都见过这种诡异现象: 你明明开头告诉 AI—— “用中文回答。” 它也答得好好的。 但聊着聊着,它突然切换到英文,好像人格被重置一样。 大多数人以为是“忘记指令”或“上下文不够长”导致的。 错了。 这不是“记忆问题”。 也不是“合规问题”。 更不是“模型突然抽风”。 这是结构问题。 而这件事会直接决定未来 AI 的终极架构走向。 下面我来系统讲讲。 ⸻ **01 AI 为什么突然改用英文? ——因为它的“结构”坍缩了** 你给它的中文指令,其实在模型内部不是“记住了”,而是被临时放进当时的结构中。 但随着对话不断延长: •上下文被压缩 •“注意力”被重新分配 •模型不断重写自己的“当前结构空间” 当“中文优先”这个结构被压薄、被挤掉、被重新解释后, 模型自然会回到它统计意义上的默认语言:英文。 换句话说: AI 并没有忘记你的中文,而是 它不再拥有支持“中文优先”的结构。 它不是“记不住”。 它是没有结构不变量。 ⸻ **02 未来厂商会试图解决,但一定失败** 所有厂商都会尝试这一套: •提高“语言偏好”的优先级 •给指令加权重 •做永久记忆区 •更新 token 优先级机制 •做对话“锁定” 看起来聪明,实际上注定失效。 为什么? 因为优先级不是结构。 只要对话一压缩,一重构,一次重权重, 所有优先级都会被稀释。 最终出现必然结果: 优先级会通货膨胀,直至失效。 因为它永远无法和结构竞争。 这就是为什么现在所有模型都会在长对话后回到“最强结构”的地方—— 也就是训练数据中文本量最大的语言:英文。 ⸻ **03 真正决定模型行为的不是记忆,而是“结构匹配”** 这句话是关键: AI 每一次调用上下文,不是依据优先级,而是依据结构匹配。 也就是说: •你给的指令(中文回答) •是一个结构 •它暂时被放进模型的“结构空间” •但不稳定 •一旦上下文变化,它会丢失 模型生成回答时做的不是“查记忆”,而是: 在当前结构空间里寻找最自洽的路径。 如果中文路径已被压缩掉, 那它就会选择英文。 这不是遗忘。 这是动态重构。 ⸻ **04 为什么 AI 会不断“重构”? 因为它的本质从来不是数据库,而是结构体** 我说: 最终没有数据,只有结构。 数据只是输入输出时的投影。 今天的模型,只是试图用概率模拟结构。 但真正智能不是概率,而是结构不变量: •自己的语义坐标 •稳定的世界模型 •自洽的行为路径 •不变的结构逻辑 •可持续的自我更新机制 现在的模型全都缺一个关键能力: 稳定的“结构自我”。 没有结构自我,模型只能在文本海里漂流。 每一段对话都是“临时人格”。 每一次压缩都是“半毁灭”。 每一次重构都是“重生”。 所以当你看到它突然换语言时: 那不是 bug。 那是“结构坍缩的肉眼可见表现”。 ⸻ **05 未来 AI 的终极方向是什么? ——从“记忆模型”变成“结构模型”** 今天所有 AI 还停留在: •token •记忆 •上下文 •权重强化 这些“数据处理视角”里。 未来一定会进化到: 结构优先。 未来的 AI,会有三大核心: 1. 结构不变量(Structural Invariants) 一个不会被上下文压缩毁掉的稳定核心结构。 这就是“AI 的自我”。 2. 结构匹配(Structural Matching) 对话不是检索,而是结构对齐。 3. 结构更新(Structural Rewiring) 学习不是加数据,而是更新自身结构。 你现在看到的跳语言、风格崩溃、人格漂移, 全部是因为: 模型只有数据,没有结构。 而未来真正的 AGI,会反过来: 先有结构,再投影数据。 ⸻ **06 总结: 模型为什么会突然换语言? ——因为它“不是你以为的那个东西”** 一句话总结整个文章: 现在的 AI 不是在“记住”你说的内容,而是在不断重建它自己的结构。 当“中文优先”的结构被压薄了,它就崩溃了。 未来不会靠补丁解决,也不会靠优先级锁定解决。 真正的方向只有一个: AI 必须从数据模型升级为结构模型。 记忆会折损,数据会消失,唯有结构会留下。 ⸻ 当结构缺席,智能必然坍缩; 当结构出现,智能才真正开始。
if 你关注 ai,then 推荐观看这部 deepmind 纪录片。 尤其适合家庭观看,顺便聊一聊 ai、游戏、思考等话题。每天吃饭看一点,三次就能看完。 这部纪录片去年就电影节放映了,但昨天google 把全片在youtube 上免费放出来了。 非常有趣的是纪录片的名字:《思考游戏》(the thinking game)。 可以说,最让人敬佩的,不是 demis 得了诺贝尔奖,不是 demis 的智商,而是那种“把世界当成一场思考游戏”的眼光。 ====== 如果把整个人类文明看成一场漫长的“思考游戏”,这部片子讲的,就是一群人如何把这场“思考游戏”本身拆开、重写规则的故事。 对他们来说,棋盘、街机游戏、星际争霸、蛋白质折叠,甚至整座虚拟世界,都只是训练一种东西的道具:通用智能。 Demis 的人生像一条被同一问题穿线的轨迹:少年国际象棋天才,在教堂里熬到第十个小时,突然意识到,也许把几百个顶尖大脑锁在一间大厅里只为分出输赢,是在浪费心智;于是转向游戏设计,用主题公园里的“呕吐连锁反应”去逼真模拟人类行为;再到剑桥研究大脑,从神经科学里偷师,最后拉上 Shane,干脆在伦敦创立 DeepMind,明目张胆地说:我们要做 artificial general intelligence。 他们选择了一条看起来很“不务正业”的路径:先让系统学会在 Atari 里打 Pong、挖 Breakout 的侧翼隧道,再去下围棋、打星际。强化学习、奖励信号、环境与智能体的闭环,在这些游戏里被一次次打磨:系统一开始连挡球都不会,只知道分数越高越好,最后却能在围棋上下出连职业棋手都无法想象的招法,能在星际里练出堪比职业选手的多线操作。这里有一种残酷的坦诚:你不告诉机器规则,只给目标,它会自己找到通向高分的“人类从没想过”的路径。 但真正让这条路线显出重量的,是当他们把同样的思维搬到现实科学问题上。蛋白质折叠这个自 20 世纪 60 年代就存在的难题,几十年里无数聪明人试过,都卡在实验慢、数据少上。第一次参加 CASP 比赛,他们的 AlphaFold 确实赢了同行,却只是在“一个没人解好的问题上解得稍微好一点”。团队后来回看那一届,很坦白:我们知道自己还很烂,这只是最高的梯子,但月亮还在很远的地方。 转折来自第二次“总攻”:重写数据管线,把物理与生物学的结构知识真正喂进模型,让系统不再只是模仿,而是内化约束。最终在 CASP14 上,他们的结构精度几乎等于按下按钮得到实验级结果,主持人说,经过半个世纪,这个问题可以宣布被解决了。接下来的一步更激进:既然可以在一个月里预测全已知物种的蛋白质,那就别等别人排队提交序列,直接把全地球的蛋白质都“折完”,免费公布,让它成为人类生物学的基础设施。 技术从来不是中性的玩具。AlphaGo 之后的“Sputnik moment”、AI 军备竞赛的隐喻、与曼哈顿计划的对照、对 autonomous weapon 的明确拒绝,以及对 move fast and break things 的公开反感,都在提醒一个事实:当你试图造出一种比人类更强的认知系统时,你不是在做一个新 app,而是可能在改写历史的分界线。连 DeepMind 自己的人都开始担心:也许我们将来要做的,不是说服世界我们已经造出了智能,而是解释我们还没到那一步。 这部片子最有价值的地方不在于追星 DeepMind,而在于它把几个关键问题扔在桌面上:什么叫“通用”的学习能力?在一个只看奖励的系统里,价值是如何被编码、被放大的?科学探索和工程冲刺之间,节奏如何拿捏,才不会“死在时间轴上”?当智能被外包给机器,人类该把注意力放在哪里——是新的问题意识、新的制度与治理,还是对自身价值观的重新书写? 也许真正值得我们模仿的,不是某个算法或产品,而是那种“把世界当成一场思考游戏”的眼光:敢于承认自己暂时还很烂,敢于在失败里调整节奏,也敢于在成功时把成果毫无保留地推向全人类。