indigo

统计数据

242

文章

0

粉丝

0

获赞

1747

阅读

1小时前

把运气好用高级的方式表达出来 —— 一个成功的风险投资人😅

#风险投资 #成功 #运气 #高级 #反讽

1天前

第二次感恩节快乐🦃🇺🇸🎉

#感恩节 #美国 #节日 #庆祝 #积极

2天前

就像 Demis 所说的，我们距离人类级别的通用智能还需要至少两个范式突破！最近 X 上备受关注的来自 Google Research 的论文「Nested Learning」也许能带来一些突破的希望，团队用 HOPE 作为验证架构的名字，足以显示其信心，它会不会是下一个 Transformer 呢？竟然又出自于 Google … 现在 LLM 最大问题，就是“灾难性遗忘”。虽然它们功能强⼤，但本质上是静态的，在预训练后就停⽌学习，⽆法持续获取新知识。这种状态类似于“顺⾏性遗忘症”：模型拥有⻓期记忆（预训练知识）和短暂的⼯作记忆（上下⽂窗⼝），但两者之间的桥梁是断裂的，⽆法形成新的持久记忆。简单地堆叠更多层（增加深度）并不能解决这个根本问题。真正的深度不是空间的“高”，而是时间的“深”。Nested Learning (NL) 认为，模型不应该是一个静态的千层饼，而应该是一组嵌套的齿轮系统。 - 有些齿轮转得慢（长期记忆/预训练知识） - 有些齿轮转得快（短期适应/上下文学习） - 真正的智能，是不同转速的齿轮在同时咬合、运行我们的大脑，是在多时间尺度上进行“持续学习”的。神经元结构的⼀致性使得⼤脑可以灵活地重组⾃身；⼤脑不依赖于单⼀的中央时钟，而是用不同的神经回路以不同的频率运作（如脑电波），实现快速整合与⻓期巩固的平衡。深度学习其实是嵌套学习的“扁平化”投影，就像低维是高纬的平面化投影一样。在 NL 框架下，每个“层级”都有其⾃身的“上下⽂流”和“更新频率”，这使得所有内部学习过程都变得透明且可⽤数学语⾔描述。这样，模型不需要让所有参数都用同一个速度更新，让浅层参数快速适应（像海马体处理新记忆），而让深层参数缓慢沉淀（像大脑皮层存储旧知识）。优化器（Optimizer）本质上就是一种记忆系统。这是论文中最具颠覆性的洞见，假如你把梯度下降看作是一个“正在学习如何遗忘和记忆”的过程呢？ - SGD 是一个初级记忆体，它试图把数据映射到“惊讶”（Error / Surprise）上； - Momentum（动量）是一个更高阶的记忆体，它记住了过去梯度的方向；整个神经网络，从优化算法到注意力机制，本质上都是一个个嵌套的、试图压缩信息的循环。并没有所谓的“架构” vs “算法”，它们是一体两面。 — 现在，团队从第⼀性原理出发，设计⼀个完全拥抱嵌套学习范式的模型架构 - HOPE，它不是简单的 Transformer，更像一个能自我进化的系统： - Self-Modifying Titans（自我修改的泰坦）：它能学习如何修改自己的更新算法，这就像一个人不仅在学习知识，还在学习“如何学习”； - Continuum Memory（连续谱记忆）：抛弃非黑即白的“长/短记忆”二分法，建立一个多级变速的记忆齿轮箱； HOPE 不仅是⼀个理论构造，它在实践中也展现了 SOTA 性能，在 1.3B 参数规模下优于 Transformer / RetNet / Titans，尤其在语言建模和常识推理上。我觉得这篇论文的名字取得很有深度，很多人把它并比作“Attention is All You Need V2”。传统深度学习的“深度”只是计算的⼀维视⻆，这是过去的幻象；现在的现实是：嵌套学习揭示了第⼆个维度 —— 拥有不同更新频率的“学习层级”。这个新视⻆不仅帮助我们更好地理解现有模型，更重要的是，它指导我们设计出像 HOPE 这样更强⼤、具备持续学习能⼒的新架构。

#嵌套学习 #HOPE模型 #持续学习 #灾难性遗忘 #多级记忆

2天前

在书房也能沉浸式 DJ 💃🎵✨

#书房DJ #沉浸式体验 #音乐 #娱乐 #积极

2天前

Entertaiment Room 设备装配完毕！家庭影院、K歌房 & 游戏室！为了看上去不那么中老年娱乐，还可以当地下乐队表演厅，目前来看用 K 歌系统混响走电音吉他还可以🎸 计划在吧台前架一套 DJ 设备，电子乐 Vibe 走起✨

#家庭影院 #K歌房 #游戏室 #电音吉他 #DJ设备

3天前

你不懂就没有直觉因为神经网络对“概念”的连接强度不够没法形成快速通路。。。直觉是审美和品味的另一种表现✨

#神经网络 #概念连接 #直觉 #审美 #品味

3天前

面对 Scaling 和 Research，作为投资人你会选哪个？这是 Ilya 做客 Dwarkesh Patel 播客最核心的话题（全网都是 AI 总结，我写点不一样的）。Scaling 有一个无法拒绝的优点：投资逻辑简单、风险可控；你只要相信那条曲线 —— 更多算力，更多数据，就会有更好的模型。“买更多 GPU ”比“押注一群 Researcher 可能十试九败”的决策要安心得多。。。 “真的有人相信，再大 100 倍规模，一切就会被彻底改变吗？我不这么认为。” Ilya 的结论是：“我们要回到了研究时代，只不过这次手上有了大电脑。” 这也是 SSI 成立的初衷之一，接下来真正值得投入的，不是买多少 GPU，而是能否发明新的学习方式、新的价值函数、新的泛化结构。三十亿美金的融资，足够 SSI 烧 5-10 年了，这起步可比 OpenAI 牛逼很多！ Ilya 是出了名的口风紧，但他这次分享的观点，在很多角度与 Richard Sutton 的研究有很多异曲同工。Sutton 教授 Dwarkesh 的播客里也分享过：LLM 不会在交互过程中持续学习，所以无论怎么 Scale，都不够，必须有新架构支持。在 Alberta Plan 里，他把未来十年 AI 的核心研究压在：Continual Learning（持续学习）、Meta-learning（学会如何学习）、Agent 在环境中长期交互自我学习，通过研究找到能更好利用算力的新架构和新学习方式，这也是 Google 长期支持他的研究方向。在《Reward is Enough》一文中，Silver + Sutton 提出一个假说：“最大化累积 Reward 这个通用目标，在原则上足以产生我们在自然与 AI 中看到的大多数能力。” 简单来说：我们不需要给 Agent 手工规定所有子目标；只要有一个合适的 Reward 信号 + 足够强的学习能力，感知、记忆、规划、社交等能力会作为“为了拿 Reward 的工具”自然长出来。 Ilya 在访谈中举了一个经典的病人案例：情绪中枢损伤后，智力尚在，但日常决策能力完全崩溃。情绪是人类大脑里一种粗糙但强力的“价值函数实现方式”，它给复杂世界提供一个简单的“好 / 坏”近似，使我们可以在有限时间做出决策。做 SSI 的另一初衷，就是 Ilya 不满足于“让 AI 不作恶”这种低标准，他在思考：有没有可能设计一种结构，让 AI 真正“在意”有感知的生命（sentient life），而不是只是冷冰冰地遵循规则。他提出一个直觉：人类对他人的同情、共情，很可能来自这样一个事实—— 我们用“建模自己”的那套神经回路，去建模别人的状态。那些高层次的“社会在意”（比如尊重、羞耻、道德感），很可能是进化在相对短的时间窗口里嵌入的。这说明：在一个复杂系统里，把高层次价值“硬编码”进去，并不必然不可能 —— 只是我们还不知道怎么做而已。Ilya 最终想要的，可能正如 Hinton 教授最近想明白的，让 AI 超级安全的方法就是把对人类的“母爱”给编码进去，就像大自然给我们的基因编码那样。。。最后，超强系统必须通过渐进式部署来学习与对齐，而不是直接扔一个成品版的“上帝”给世人。这个新的超级智能就象一个 15 岁的少年，非常聪明，但什么都不懂；你不会把他一下子丢到外科手术台或外交谈判桌前；你会让他一步步接触世界，在真实反馈中学习与成长。对 AI 来说，这也是一个“持续试错 + 渐进开放”的过程，而不是一夜之间发布一个“完美终极系统”。 Ilya 对 SSI 所做事情的愿景： - 如何让模型的泛化真正变好； - 如何让系统在持续学习中保持安全与稳定； - 如何设计一种架构，使得“理解世界”的方式与人类更加相容；在未来 5 – 20 年内，能像人类一样学习，并超越人类。这个时间线和 Deepmind 的 CEO Demis 预测的基本一样，我们还需 5 - 15 年才能实现人类这样的通用智能，这期间还需要至少一到两个研究范式的突破！站在投资视角，大语言模型的范式红利才刚开始，通过工程化和应用场景的普及，会推动软件、工作和社会结构的转型，这需要巨大的算力作支撑；但在多样化的新范式研究上，要寻找潜在的类似 Transformer 架构这样的突破，它们可能来自 SSI、Thinking Machine Lab、Anthropic 等前沿 AI 实验室，也极有可能是 Google，但 OpenAI 这就得看 Sam Altman 的野望在什么地方了。。。

#AI浪潮：重塑就业，风险暗涌？· 140 条信息

#AI安全 #Ilya Sutskever #持续学习 #价值函数 #AI伦理

4天前

16 寸的 macbook pro 是最好的生产力工具 - 上网剪视频设计开发写作交易均可极大提升效率；我从来不用手机工作！手机是便利工具不是效率工具 - 控制使用手机的时间才能提升效率😆 昨天给一个几乎什么工作都用手机干的朋友的建议。。。

#MacBook Pro #生产力工具 #效率提升 #手机依赖 #工作建议

5天前

不能自由使用最先进的 AI 模型比墙还可怕🫤

#AI模型 #限制 #担忧 #技术壁垒 #负面

6天前

Netflix 新爽剧「Last Samurai Standing」- 武士版「鱿鱼游戏」剑斗超然、血腥真实、摄影美爆！喜欢快节奏“一刀流”战斗武士剧的爱好者不要错过🔥 我是被小岛的推荐拉入坑的😆

#Netflix #武士剧 #Last Samurai Standing #剑斗 #血腥

1周前

路上的傻 X 司机太多，如果都是 FSD，人类的交通效率会高很多也会安全很多；同样，政府还有各种公共设施的网站，也被各种能力低下的外包公司和业余工程师把持着，将来如果都由 AI Agent 来开发和运维，也会大幅提高社会服务效率和品质！AI 会肉眼可见的提升人类技术服务的下限，但没法很快拔高上限🤔

#FSD #AI Agent #交通效率 #社会服务效率 #技术服务

1周前

把图一的户外组合沙发放到我的 rooftop 看看效果！最近给新房子配家具 Nano Banana 帮了不少忙现在 Pro 的准确度更好基本一次出图搞掂✅ 还可以做一些细节修改😉

nanobanana平台助力个人形象照生成，专业形象照引发热议· 100 条信息

#户外组合沙发 #rooftop #家具 #nano banana #Pro

1周前

新·帮派头目聚会😅

#帮派 #聚会 #负面 #新头目

1周前

Google 没有把王冠从 OpenAI 那里“抢回来”，因为在产品与用户的维度上，他们从来没真正丢过。王冠只是被灰尘盖住了，而 Gemini 3，就是把灰尘一口气吹散的那阵风。Hard Ford 播客对 Demis Hassabis & Josh Woodward 的火速采访，透露了 Google 围绕 Gemini 为核心的新战略✨ 为什么强化前端代码和生成式 UI？生成一个既“好看又好用”的页面，这是让模型真正“长手脚”的一步！有了界面，模型就可以让你输入更多结构化信息；触发更多 API / 工具调用；更丰富的输入，有助于模型理解你真正想解决的问题；你可以想象 Workspace、Android、YouTube 等产品被重新组织为一堆“可组合的工具块”；Gemini 帮你把这些工具块拼成适配个人工作流的小应用 —— 这是非常 Google 风格的长期愿景✨ Google 的“全栈整合” 不依赖单一的模型订阅费，而是将 AI 注入到搜索、安卓、YouTube 等现有护城河中，同时通过云计算（TPU 租用）和新领域（药物研发、机器人以及生成式游戏）寻找增量。Google 认为这些领域未来将诞生数个千亿美元级别的业务📈 培养未来用户习惯采取长线策略，例如向美国大学生免费提供一年的 Gemini 付费版。这不仅是为了抢占市场，更是为了让下一代用户养成使用 Gemini 学习和工作的习惯，将其作为必备工具。抓住未来，才能延续现在🤔

Google Gemini 2.5发布引发AI模型性价比热议· 468 条信息

OpenAI新德里发布会：ChatGPT语音翻译功能引发热议· 857 条信息

#Google Gemini #OpenAI竞争 #AI全栈整合 #用户习惯培养 #长期愿景

1周前

Meta 刚刚发布了 SAM 3D - 开源项目 Segment Anything 的 3D 版！这次提供了两种模型，一种用于物体/场景，另一种用于人物，你可以在 Playground 中发现各种有趣玩法，例如用照片重建 3D 场景还有适合社交传播的创意视频👀 一直觉得 Meta 在空间智能上比语言模型上靠谱很多😅

#Meta #SAM 3D #开源项目 #3D重建 #空间智能

1周前

用最近一次“INDIGO月末直播”中提到的 Rewired 项目筹备架构图，让 Gemini 3 Pro 一次提示生成网站，从布局结构到内容再到细节的设计，有模有样！即使不直接使用，用来做设计参考，也很有价值👀

Google Gemini 2.5发布引发AI模型性价比热议· 468 条信息

OpenAI新德里发布会：ChatGPT语音翻译功能引发热议· 857 条信息

#INDIGO月末直播 #Rewired项目 #Gemini 3 Pro #网站生成 #设计参考

1周前

很显然 Google 已经回到了创始人模式今年 $GOOGL 已经涨成了第二大仓位视频是 Antigravity IDE 的广告创始人代言！不知道此刻 Cursor 的感想🙃

#Google #创始人模式 #Antigravity IDE #Cursor #股票上涨

1周前

Grok 4.1 的语言能力又提高了情商最高的模型👻 帮散户们把情绪价值拉满😜

马斯克Grok再升级，4代直播发布引爆AI· 41 条信息

#Grok 4.1 #语言能力提高 #情商高 #情绪价值 #散户

1周前

传说 Gemini App 里面选择 Canvas 就能体验 Gemini 3 生成的前端代码？试了下让它用 SVG 画 iPhone 这还是 2.5 的水平呀😅 还是我描述不够细致。。。

#Gemini APP #Canvas #Gemini 3 #前端代码生成 #SVG iPhone

1周前

计划把地下室布置成 Basement Gallery

#地下室 #Basement Gallery #画廊

1周前

Windows 对于我来说就是 Steam 的引导程序😜 今天Valve 宣布了新硬件 Steam Machine，一款运行 SteamOS 的游戏 PC（也能运行 Windows），性能比 Steam Deck 强六倍，可以 4K 60 FPS 运行 Steam 平台上的全部游戏，包括 3A 大作！AMD 定制芯片，就是内存小了点，不过设计爱了😍

Valve公司创新文化与Steam平台成功引发行业关注· 11 条信息

#Steam Machine #SteamOS #4K 60FPS #AMD定制芯片 #游戏PC

2周前

泡沫是人类科技进步的燃料！燃掉的投资能够赚回来，那就是变革成功，否则就是一地鸡毛 ... 智变时代 II 线下分享节选，来自 Coatue 的泡沫崩盘五部曲：范式转移 - 繁荣 - 狂热 - 获利 - 恐慌 - 崩溃💥 我们现在的 AI 泡沫还在“范式转移”到“繁荣”期，更酷更大的还在后面😜

#泡沫 #AI #范式转移 #繁荣 #科技进步

2周前

一场良性泡沫中的智能革命 / 凤凰私享会 - 智变时代 II 回放

#科技创新与传统产业的激烈碰撞，城市动能如何重塑未来· 122 条信息

#智能革命 #良性泡沫 #智变时代 #凤凰私享会

2周前

新房 Office 影院装配完毕！音效画面拉满☀️

#新房 #office #影院 #音效 #画面

2周前

Elon 的 X 分钱最多的一次！把 Premium Plus 的订阅费给报销了😜

#Elon Musk #X (formerly Twitter) #premium plus #subscription fee #reimbursement