总结一下最近特别火热的Sutton谈到LLM在通向 AGI 道路上的核心局限与原因： 1. 根本性局限：数据有限且人类化 LLM 的学习完全依赖于人类生成的文本数据（有限且有偏）。一旦人类数据被“吃完”，模型将失去可持续自我学习的来源。学到的知识和价值体系被“人类偏见”所框定，无法跳脱出人类语料的边界。 2. 学习机制的局限：被动模仿 vs. 主动学习 LLM 是“预训练 + 微调”模

#LLM局限性 #AGI挑战 #Sutton观点 #人工智能未来 #在线学习

相关新闻

AI Will

1周前

如果行业支出能保持 58% 的持续增长，到 2029 年总支出预计将达到约 2 万亿美元，而 OpenAI Stargate 项目承诺的 5000 亿美元将占其中的 25% 左右。Sam 看到了这种指数级增长的潜力。

Geek

2周前

《新概念英语》全四册在线学习，课文朗读、单句点读。第一册《First Things First》：侧重打基础第二册《Practice and Progress》：注重初步运用第三册《Developing Skills》：强调语言进阶第四册《Fluency in English》：流利表达

MemeInformation 🔔｜AI First+ Crypto

1个月前

我越来越认同李飞飞的观点。 LLM这条路线注定走不到AGI的终点。因为语言模型的本质，是基于已有文本模式去预测下一个词，它擅长总结、续写、润色，也能模拟出看似合理的推理过程。但它始终只面对文本。而我们生活的世界，不是词语拼接出来的。它有重量、有速度、有摩擦，遵循物理规律，充满空间感与动势变化。语言可以描述这一切，却无法真正感知或参与其中。这也是LLM的核心局限。它理解的是语言中的世界

面包🍞

1个月前

今天尝试用Claude Code写了些webgpu/webgl的代码，不出意外，用的4.1模型花了快一百刀了其实，跑也跑不起来，不是黑屏就是各种runtime error。我觉得LLM只能从日志里面读信息还是远远不够的，没有得到视觉的反馈和运行时的信息还是强差人意

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

4个月前

预训练后的LLM决定了这种语言智能物种，使用的是人类的语言、反映的也是人类的亿万年的进化适应性，动机由prompt激活，注定只能与人类智能共生： “Richard Sutton说，目前LLM的主导地位是“一时的固定” 真正的突破将来自扩展计算，而不是根据人类认为的工作方式构建人工智能系统。再过十年，甚至可能半年，LLM不会成为人工智能的前沿。”