3天前

人类生物智能之所以需要注意力,是因为自由能驱动的生物结构复制子的存在being使然,我们只需要个体存续和繁衍下去。所以我们留给预测编码的能量很有限,20w。 而今天的AGI类似造神,所以需要算力scaling law。今天的LLM驱动的agent问题所在是我们在海量文本知识海洋里通过注意力机制想符号落地到具体的scenario,这是个悖论。一方面context窗口的成本非常高,一方面获得的人类价