𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞
1个月前

人类生物智能之所以需要注意力，是因为自由能驱动的生物结构复制子的存在being使然，我们只需要个体存续和繁衍下去。所以我们留给预测编码的能量很有限，20w。 而今天的AGI类似造神，所以需要算力scaling law。今天的LLM驱动的agent问题所在是我们在海量文本知识海洋里通过注意力机制想符号落地到具体的scenario，这是个悖论。一方面context窗口的成本非常高，一方面获得的人类价

#生物智能 #注意力机制 #AGI造神 #算力scaling law #符号空转

相关新闻

placeholder

花果山大圣

1个月前

看这个论文之前，我只是不懂注意力到底是个什么概念 研究了半天并且和 chatgpt 聊了几十轮后，现在不懂的东西有梯度下降，过拟合，决策树，SVM，深度神经网络，LSTM等 相比起来 rust 简单多了🧐

placeholder

赵纯想

1个月前

人工智能骗子们说：神经网络模拟的正是人脑的工作方式。但是，从那篇论文《all you need is attention》，到现在，谜底始终写在谜面上。从天文数字的语料中提炼出来的，就是注意力。大模型在生成“成功、乃是、失败、之”之后，它的所有注意力，都瞄准了那个“母”字。 这是凝固的注意力，是僵尸注意力。而人脑的注意力是：我让你闭上眼睛，不许低头的情况下，告诉我，你手腕上的表丢了没有。这时候，

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1个月前

你不了解上下文工程，就不了解LLM交互；你不了解语言边界，就不了解LLM符号智能；你不了解生物智能，就不了解与LLM交互需要具身经验本体的投射与反投射闭环。

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1个月前

正是满城桂花飘香的季节 推上的vibe太多符号空转了

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

2个月前

原始汤中涌现的结构体复制子一直到今天的生物智能的意识