澎湃新闻-10%公司
0 关注者
赵纯想
1天前
人工智能骗子们说：神经网络模拟的正是人脑的工作方式。但是，从那篇论文《all you need is attention》，到现在，谜底始终写在谜面上。从天文数字的语料中提炼出来的，就是注意力。大模型在生成“成功、乃是、失败、之”之后，它的所有注意力，都瞄准了那个“母”字。 这是凝固的注意力，是僵尸注意力。而人脑的注意力是：我让你闭上眼睛，不许低头的情况下，告诉我，你手腕上的表丢了没有。这时候，
初码
4天前
国内大模型领域的行业Benchmark（偏硬件+测评）一定会出现一个现象级的KOL或者矩阵，我有强烈的预感，这个组织会不会是我？
𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞
人类生物智能之所以需要注意力，是因为自由能驱动的生物结构复制子的存在being使然，我们只需要个体存续和繁衍下去。所以我们留给预测编码的能量很有限，20w。 而今天的AGI类似造神，所以需要算力scaling law。今天的LLM驱动的agent问题所在是我们在海量文本知识海洋里通过注意力机制想符号落地到具体的scenario，这是个悖论。一方面context窗口的成本非常高，一方面获得的人类价
在悉尼和稀泥
6天前
现在各种大模型你追我赶，有的历史对话和上下文需要从一个模型迁移到另外一个模型。Dia 官方提供了一个“导入记忆”的功能，帮助用户把 chatgpt 的记忆导入到 Dia 浏览器，这个本质就是一个提示词，可以用来给自己用的大模型们进行“记忆”同步。 --- I want information about myself and my preferences. First, retrieve and
dontbesilent
大模型的 Temperature 不仅是技术参数，它是对「自由」的形式化。 如果： 人的自由 ≈ temperature 那么： 自由不是神秘的「灵魂」，而是可测量的「概率分布宽度」。 这是启蒙的终极胜利：连「自由」都被去魅化了。 但同时，这也是启蒙的终极悖论： 如果自由可以被参数化，那它还是「自由」吗？ 或者说：真正的自由，就是意识到自己的「temperature」，并选择调整它。
