#错误累积

1周前

为什么 AI 帮你写 1 小时代码还行，写 10 小时就变成一坨屎？为什么 Chatbots 聊上很多轮之后，就开始一本正经地胡说八道？核心原因就藏在Yann LeCun 23年演讲的这张图里：错误会指数级累积。想象一下，AI 生成每个 token（词）时，都有一个很小的概率偏离“正确”答案。假如每一步走对的概率是 99%，那连续走 100 步都对的概率就只剩 36.6% 了。如果任务更长，比如 1000 步，那正确的概率就无限接近于 0！（ 0.002%）这就是为什么长任务、长对话，最后总会“散架”。因为这条路太长，走错一步，就再也回不来了。LeCun 认为这是 AR 架构的“原罪”，靠打补丁没用。

#AI #Yann LeCun #错误累积 #长任务 #AR架构