#符号计算

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

3周前

LLM，作为纯粹的符号计算，不应该成为独立的"心智"（Sutton的警告），也不应该被RL强行"驯化"（Karpathy的批判），而应该成为人类认知的"符号之翼"——让我们飞得更高，但永远，永远，能够回到身体的大地。

#AI浪潮：重塑就业，风险暗涌？· 122 条信息

#LLM #符号计算 #心智 #认知工具 #技术哲学

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

3周前

结合最近强化学习之父Sutton提到LLM is a dead end和硅谷AI好老师Andrej Karpathy在访谈提到RL is terrible；让我不禁想起在LLM的训练范式中，RL可能并不适合LLM这种纯符号计算，Sutton的担心是悬浮的符号计算会走向何方？Karpathy离职从事AI教育志向在于探索LLM的cognitive core如何为AI时代的人类所用。 LLM的"世界" = 符号空间但符号空间是： - 自我指涉的（符号定义符号） - 无物理后果的（删除token无痛感） - 无生存压力的（错误不导致死亡） ∴ RL在此"空转"：优化的是"符号游戏的得分" 而非"在世界中生存"

#LLM #强化学习 #Sutton #Karpathy #符号计算

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1个月前

这很形象 transformer架构真的可能只适合符号计算

#Transformer架构 #符号计算 #形象 #技术分析