#智能

1个月前
“一个知道为什么活着的人,可以承受任何痛苦。” 这或许是 Indigo Talk EP28 期对谈的终极启示:真正的智能不是计算能力,而是找到存在的理由。当我们创造 AI时,不应只赋予它智力,更要帮它找到“为什么”。否则,我们创造的只是高智商的僵尸,而非真正的智慧生命。 Claude Opus 4 总结,用李继刚老师的提示词提炼的对谈的「精华」- 从 AI 到意识的深度洞察👀 1. 开源 AI 的"左脚踩右脚" 当开源模型的推理能力到达临界点,它可以用自己来改进自己 —— 就像一款编程语言可以写编译自己的编译器; 2. 智能与意识的根本分野 LLM 比狗聪明得多,但如果让你选择谁有意识,你会选狗; 3. 目标是生命力的源泉 一旦失去执念,人就会进入游魂状态(引自黑暗之魂的世界观); 4. 隐私即自主 隐私不是为了保密,而是为了保护自主性。没有隐私,就没有多样性; 5. 分布式是必然,不是选择 分工即分布式。当你有不同目标时,就自然产生了不同线程; 6. 42 的哲学寓言 当你想要一个知道一切的 AI 时,它会给你一个完全混沌的答案; 7. 意识需要他者 如果世界上只有我一个人,“意识”这个概念会失去意义; 8. 从"制造"到"生长" 未来的 AI 系统应该像有机体那样生长和自组织,而不是被制造和维护; 9. 智能的第一性原理 所有问题都是搜索问题 —— 在混沌中找到低熵的路径; 10. 意识的六层天梯 - 冲动意识(生存本能) - 自我意识(镜像测试) - 社会意识(共情能力) - 理性意识(世界模型) - 自我实现(书写自己的故事) - 开悟(观察观察者) 这不仅是分类,更是一张成长地图🤔
「LLM, Reasoning」论文: (How) Do reasoning models reason? “真正的智能,是让模型在生成时就做出正确选择,而不是事后去验证哪个选项是对的。” 作者Subbarao Kambhampati,我不完全同意他,但我很喜欢他。2024年ACL Keynote,他批评当前对 Chain of Thought 的信仰如同宗教。——我们喜欢看到推理的样子,但并未真正验证推理的实质。 这篇论文,简直就是把当前 LLM 推理潮流一锅端,按住OpenAI o1 和 DeepSeek R1 提出了两个灵魂拷问: 1: Large Reasoning Model 是在推理还是在检索? 作者认为,LRM 并非真正“推理”,它们的行为更像经过训练强化的“近似检索”系统。 所谓“推理”,往往只是模型通过被筛选过的训练样本“生成看起来像推理的输出”。 如果模型生成的候选解中压根就没有一个是对的,也就无法进行强化训练。 这意味着 LRM 的“推理”质量依赖于它是否能撞上一个正确答案。 2: Chain of Thought 是否跟“思考相关”? 作者认为,CoT,(如step-by-step 的文字、公式、甚至“wait...”、“aha moment”这类表述)并不能证明模型真的在“思考”,它们很可能只是模仿人类风格的产物——大型模仿模型(Large Mumbling Models, LMMs)。😂 例如,CoT可以胡说八道但仍“撞对”答案, 模型通过 RL 训练输出的CoT只要能让最终答案更准确,哪怕是乱码也无所吊谓。 最后,此片论文同样是对test time scaling的犀利审视,test time scaling本质是把原本在“测试时”才能验证的东西,提前“编译”进了模型的生成过程中。 换句话说,模型不是学会了推理,而是学会了如何在多次尝试中更容易猜对答案。这跟真正的智能背道而驰。 按照作者的思路,当下post training的套路如下: - 测试阶段:拼命尝试多个答案 - 筛选阶段:用外部验证器选出对的那个 - 训练阶段:把这套套路“硬塞回生成器”,形成“像在思考的样子” 所以它不是真的学会了推理,而是学会了:如何让自己看起来像在推理,并增加猜中率。 Intelligence is the ability to shift the test part of generate-and-test into the generate part. inspriing!