#价值函数

22小时前

面对 Scaling 和 Research，作为投资人你会选哪个？这是 Ilya 做客 Dwarkesh Patel 播客最核心的话题（全网都是 AI 总结，我写点不一样的）。Scaling 有一个无法拒绝的优点：投资逻辑简单、风险可控；你只要相信那条曲线 —— 更多算力，更多数据，就会有更好的模型。“买更多 GPU ”比“押注一群 Researcher 可能十试九败”的决策要安心得多。。。 “真的有人相信，再大 100 倍规模，一切就会被彻底改变吗？我不这么认为。” Ilya 的结论是：“我们要回到了研究时代，只不过这次手上有了大电脑。” 这也是 SSI 成立的初衷之一，接下来真正值得投入的，不是买多少 GPU，而是能否发明新的学习方式、新的价值函数、新的泛化结构。三十亿美金的融资，足够 SSI 烧 5-10 年了，这起步可比 OpenAI 牛逼很多！ Ilya 是出了名的口风紧，但他这次分享的观点，在很多角度与 Richard Sutton 的研究有很多异曲同工。Sutton 教授 Dwarkesh 的播客里也分享过：LLM 不会在交互过程中持续学习，所以无论怎么 Scale，都不够，必须有新架构支持。在 Alberta Plan 里，他把未来十年 AI 的核心研究压在：Continual Learning（持续学习）、Meta-learning（学会如何学习）、Agent 在环境中长期交互自我学习，通过研究找到能更好利用算力的新架构和新学习方式，这也是 Google 长期支持他的研究方向。在《Reward is Enough》一文中，Silver + Sutton 提出一个假说：“最大化累积 Reward 这个通用目标，在原则上足以产生我们在自然与 AI 中看到的大多数能力。” 简单来说：我们不需要给 Agent 手工规定所有子目标；只要有一个合适的 Reward 信号 + 足够强的学习能力，感知、记忆、规划、社交等能力会作为“为了拿 Reward 的工具”自然长出来。 Ilya 在访谈中举了一个经典的病人案例：情绪中枢损伤后，智力尚在，但日常决策能力完全崩溃。情绪是人类大脑里一种粗糙但强力的“价值函数实现方式”，它给复杂世界提供一个简单的“好 / 坏”近似，使我们可以在有限时间做出决策。做 SSI 的另一初衷，就是 Ilya 不满足于“让 AI 不作恶”这种低标准，他在思考：有没有可能设计一种结构，让 AI 真正“在意”有感知的生命（sentient life），而不是只是冷冰冰地遵循规则。他提出一个直觉：人类对他人的同情、共情，很可能来自这样一个事实—— 我们用“建模自己”的那套神经回路，去建模别人的状态。那些高层次的“社会在意”（比如尊重、羞耻、道德感），很可能是进化在相对短的时间窗口里嵌入的。这说明：在一个复杂系统里，把高层次价值“硬编码”进去，并不必然不可能 —— 只是我们还不知道怎么做而已。Ilya 最终想要的，可能正如 Hinton 教授最近想明白的，让 AI 超级安全的方法就是把对人类的“母爱”给编码进去，就像大自然给我们的基因编码那样。。。最后，超强系统必须通过渐进式部署来学习与对齐，而不是直接扔一个成品版的“上帝”给世人。这个新的超级智能就象一个 15 岁的少年，非常聪明，但什么都不懂；你不会把他一下子丢到外科手术台或外交谈判桌前；你会让他一步步接触世界，在真实反馈中学习与成长。对 AI 来说，这也是一个“持续试错 + 渐进开放”的过程，而不是一夜之间发布一个“完美终极系统”。 Ilya 对 SSI 所做事情的愿景： - 如何让模型的泛化真正变好； - 如何让系统在持续学习中保持安全与稳定； - 如何设计一种架构，使得“理解世界”的方式与人类更加相容；在未来 5 – 20 年内，能像人类一样学习，并超越人类。这个时间线和 Deepmind 的 CEO Demis 预测的基本一样，我们还需 5 - 15 年才能实现人类这样的通用智能，这期间还需要至少一到两个研究范式的突破！站在投资视角，大语言模型的范式红利才刚开始，通过工程化和应用场景的普及，会推动软件、工作和社会结构的转型，这需要巨大的算力作支撑；但在多样化的新范式研究上，要寻找潜在的类似 Transformer 架构这样的突破，它们可能来自 SSI、Thinking Machine Lab、Anthropic 等前沿 AI 实验室，也极有可能是 Google，但 OpenAI 这就得看 Sam Altman 的野望在什么地方了。。。

#AI浪潮：重塑就业，风险暗涌？· 135 条信息

#AI安全 #Ilya Sutskever #持续学习 #价值函数 #AI伦理

3个月前

庄子锐评张朝阳⬇️ 价值函数不同，若目标是“活得久、活得稳、降低政策与资本的波动损耗”，那就不能再用“极速增长”的标尺来量度。

#庄子 #张朝阳 #价值函数 #长期主义 #稳健