#Anthropic研究

indigo

1个月前

AI 对世界 GDP 的影响就像中国的崛起，但速度要快得多。到 2027-2028 年或本世纪末，能够自动化任何白领工作的 AI 模型将会出现 - Anthropic 研究员 Sholto 在一档播客节目上几乎肯定的表示👀 因为对于每个白领职业，都可以用有限的数据构建奖励模型，类似于人类学习的方式。虽然模型似乎比人类的样本效率低，但这可以通过并行运行数千个副本来弥补。然而，机器人技术或生物学领域不存在同样的数据资源。要使 AI 模型成为超越人类的生物学研究员，需要大规模的自动化实验室。同样，要在现实世界中达到与人类相当的能力，则需要大量的机器人来收集数据。目前的预训练加强化学习 (RL) 范式在很大程度上被认为足以实现 AGI，因为趋势线尚未改变。虽然其他算法突破是可能的，例如 Ilya 正在做的，但目前的方法被认为是足够的。能源和算力才是限制因素，预计到本世纪末，AI 将消耗美国能源生产的 28%⚡️

#AI #世界GDP #中国崛起 #白领自动化 #Anthropic研究 #经济影响 #工作未来 #技术发展

howie.serious

3个月前

claude团队揭秘：ai大脑不用英文也不用中文思考，而是靠“思维语言”。｜这证明了英语学习/教育失败的根本原因？ llm用什么语言“思考”？中文？英文？都不是。 llms的思考，使用的不是中文或英文这样的自然语言，而是一种超越自然语言的“思维语言”。anthropic的最新研究，用实验方式首次证明了这一点，这是理解llm内部黑箱的一个巨大突破。在llm内部，不同语言共享同一个概念空间。不论是中文、英文还是法语，这些自然语言都只是这个更深层次“思维语言”的表面形式而已。举个例子，你用英语教llm一个概念，它能用中文流利地表达出来；你用中文教它，它一样能在英文里准确使用。语言不同，但背后的概念是一样的。 anthropic的实验很有意思：面对同一个问题，不论你用英语问（the opposite of "small" is），是中文问（“小”的反义词是），还是用法语问（le contraire de "petit" est），llm实际上都在用自己跨语言共享的特征来思考，在同一个共享的概念空间里思考，然后再把结果翻译为对应的英文、中文或法语输出给你。对人类学习的启示？如果你同时理解llm和人脑的运作原理，不难想到以下几点： - 人脑也不是通过中文或英文这样的自然语言思考的，而是一种更为底层、更为通用的“思维语言”； - 中文和英文只是表面差异，真正重要的是思维语言本身的运动（俗称”思考“）； - 概念、事实性知识砖块和心理模型等心理表征，这些才是思维语言真正的词汇。概念语言先于自然语言。如果你掌握的思维词汇太少，不论你说哪种语言，都没法深度思考。昨天读到anthropic的这篇文章，我心情激动。毕竟早在一年前，我就在twitter和公众号文章里多次表达这样的观点。于是，双语对照版本文章奉上，祝你阅读愉快～

#AI大脑 #思维语言 #英语学习 #教育 #语言模型 #Anthropic研究 #概念空间