应该是上周 Jeff Dean 在斯坦福做了个分享,用AI总结写成文章,视频见评论区 AI 是怎么突然变这么强的? Jeff Dean,Google 的 AI 负责人,他用自己的经历,讲了这个故事。 他说:"我们今天看到的 AI,是过去十五年技术叠加的产物。" 不是一个突破。是一系列突破。 每一个突破,都让 AI 往前跨了一大步。 接下来,让我讲清楚这些突破是什么。 从最早的"模型学会了猫",到今天的"AI 拿奥数金牌"。 2012,模型自己学会认识猫 2012 年。Google Brain 项目。 Jeff Dean 和他的团队,在做一个实验。 他们想知道:AI 能不能自己学会认识东西? 不给标签,不告诉它"这是猫""这是狗"。就给它一堆图片,让它自己看。 他们用了 1000 万个 YouTube 视频帧,随机的。没有任何标注。 然后,他们训练了一个神经网络。网络很大,比以往大 50 到 100 倍。 训练完之后,他们看了看网络顶层的神经元。它们在对什么敏感? 结果让所有人震惊。 有一个神经元,对"猫"特别敏感。你给它一张猫的图片,这个神经元就会被激活。你给它一张狗的图片,它不会被激活。 模型自己学会了"猫"是什么。 没人教它。它自己从 1000 万张图片里,学会了。 这就是无监督学习。 Jeff Dean 说:"这太酷了。" 因为这证明了:AI 可以自己发现概念。不需要人类告诉它"这是什么"。它只需要看够多的数据。 这是 AI 学习能力的起点。 我们讲了 AI 怎么学会"看"。 现在,我们讲 AI 怎么学会"理解语言"。 关键技术:Word2Vec。 以前,计算机处理语言,是把每个词当成一个孤立的符号。"猫"就是"猫"。"狗"就是"狗"。它们之间,没有关系。 但 Word2Vec 不一样。它把每个词,变成一个高维向量。 什么意思?就是,每个词都是一串数字。比如,"国王"可能是 (0.5, 0.8, 0.3, ...)。"女王"可能是 (0.5, 0.2, 0.3, ...)。 但神奇的是:这些向量的方向,是有意义的。 如果你做一个计算:"国王" - "男人" + "女人",你会得到一个新的向量。 这个向量,最接近的词是:"女王"。 这就是 Word2Vec 的魔力。 它不只是把词变成数字。它让语义关系,变成了数学关系。"国王"和"女王"的关系,就像"男人"和"女人"的关系。 这个关系,被编码在向量的方向里。 Jeff Dean 说:"这让机器第一次能'理解'语言。" 不是真的理解。但它能计算语义。 我们讲了 AI 怎么理解语言。 现在,我们讲一个更现实的问题:算力。 2015 年左右。Google 想推出一个改进后的语音识别模型。效果很好,用户会喜欢。 但有一个问题。 Jeff Dean 算了一笔账:如果要用这个模型,Google 需要把计算机数量翻一倍。 你没听错。翻一倍。 这是什么概念?Google 当时已经有几十万台服务器了。翻一倍,意味着再买几十万台。 这根本不现实。 所以,他们必须想办法。 答案是:专用硬件。 他们发现,神经网络有一个特性:它对低精度计算非常宽容。 而且,它的核心就是密集的矩阵乘法。 这两个特性,让他们可以设计专门的芯片。 不用通用的 CPU,也不用 GPU。而是专门为神经网络设计的芯片。 这就是 TPU:Tensor Processing Unit。 2015 年,TPUv1 推出。 它比当时的 CPU 和 GPU,快 15 到 30 倍。能效高 30 到 80 倍。 这解决了算力危机。 后来,他们继续迭代。 最新的系统,比 TPUv2 快了 3600 倍。 Jeff Dean 说:"没有专用硬件,就没有今天的 AI。" 算力,是 AI 的基础设施。 Transformer 改变了一切 我们讲了硬件。现在,我们讲架构。 2017 年。Google 的一个同事,提出了一个新架构。Transformer。 这改变了一切。 在 Transformer 之前,处理语言的模型,都是循环模型。 什么意思? 就是,模型要一个词一个词地处理。 而且,它要把所有信息,压缩到一个向量里。 这很低效。 Transformer 不这么干。 它的核心思想是: 不要压缩,保存所有中间状态。 然后,让模型在需要的时候,去"关注"(Attend to)任何一个状态。 这就是 Self-Attention。 结果呢? 准确率更高。 计算量少了 10 到 100 倍。模型参数小了 10 倍。 这太疯狂了。更快,更准,更小。 而且,Transformer 不只能处理语言。 它还能处理图像。这就是 Vision Transformer(ViT)。 Jeff Dean 说:"Transformer 是现代 AI 的基础。" ChatGPT 用的是 Transformer。 Gemini 用的是 Transformer。 所有你看到的大模型,都是 Transformer。 让模型变聪明的三个技巧 我们讲了 Transformer。 现在,我们讲训练。 怎么让模型变得更聪明?有三个关键技巧。 第一个:稀疏模型。 正常的神经网络,每次预测都要激活整个模型。太浪费了。 稀疏模型不一样。它只激活 1% 到 5% 的参数。剩下的,都在"睡觉"。 这让训练成本降低了 8 倍。 Jeff Dean 说:"Gemini 就是稀疏模型。" 第二个:蒸馏。 这是把知识从大模型转移给小模型。怎么转? 大模型不只告诉小模型"对"或"错"。 它给的是概率分布。这个信号非常丰富。 结果呢?小模型只用 3% 的数据,就能达到大模型的效果。 第三个:思维链。 你给模型一个例子,让它"展示它的工作过程"。比如,做数学题的时候,不是直接给答案,而是一步一步写出推理过程。 这让模型在复杂推理任务上的准确率,显著提升。 这三个技巧,让模型变得更高效、更聪明。 前面我们讲了 AI 的技术基础。 现在,我们讲成果。 2022 年。Google 的研究员们,在为一件事兴奋。 他们的模型,终于能做初中数学题了。准确率:15%。 "约翰有五只兔子,又得了两只,他现在有几只兔子?"这种题。AI 能做对 15%。 他们觉得,这是个突破。 2024 年。两年后。 同一个团队,发布了 Gemini 2.5 Pro。他们让它参加国际数学奥林匹克。 六道题。它做对了五道。 这是金牌水平。 从 15% 的初中数学题,到奥数金牌。两年。 Jeff Dean 说:"这就是 AI 的进步速度。" 不是线性的。不是慢慢变好。 是指数级的。 2022 年,AI 还在学加法。 2024 年,AI 已经在解奥数题了。 那 2026 年呢?我们不知道。 但如果按这个速度,可能会超出我们的想象。 这就是我们今天看到的 AI。它不是慢慢变强的。它是突然变强的。 从 2012 年的"模型学会了猫",到 2024 年的"AI 拿奥数金牌"。 十二年。 AI 从几乎什么都不会,变成了几乎什么都会。 那接下来呢? Jeff Dean 说:AI 将对医疗、教育、科学研究产生巨大影响。 一个不会写代码的人,也能让 AI 帮他创建网站。 这是把专业知识普及给更多人。 但同时,我们也必须正视潜在的风险。 比如,错误信息传播。 AI 可以生成非常逼真的内容。如果被滥用,后果很严重。 Jeff Dean 说:"我们不能对潜在的负面影响视而不见。我们的目标是,在最大化 AI 益处的同时,最小化潜在的弊端。" 这就是 AI 的故事。 从反向传播,到 Transformer,到 Gemini。过去十五年,技术、硬件、算法,全都叠加在一起。 我们今天看到的 AI,是这一切的产物。 而这个故事,还在继续。
[Anthropic 工程博客] 构建长运行智能体的高效框架 Anthropic 最新工程博客探讨了如何为长运行智能体设计有效的“框架”,以应对复杂任务在多会话间的持续执行挑战。基于 Claude Agent SDK 实际经验,强调通过结构化环境和渐进式工作流程,让智能体像人类软件工程师一样,逐步推进项目,而非试图一蹴而就。 长运行智能体的核心挑战 长运行智能体目标是处理跨小时或数天的复杂任务,例如构建一个完整复杂的软件项目。但由于上下文窗口的容量限制,每个会话都像从零开始:智能体缺乏先前记忆,容易陷入“一次性完成”的陷阱——试图在单一会话中搞定整个项目,导致上下文耗尽、代码杂乱或文档缺失。其他常见问题包括: · 过早宣告完成:后续智能体看到部分进展,就错误地标记任务结束。 · 状态恢复困难:智能体花大量时间猜测未完成工作,或在 buggy 环境中挣扎。 · 测试缺失:功能看似就位,但未通过端到端验证,隐藏潜在问题。 通过实验(如构建 200+ 功能的网页克隆项目)总结这些失败模式,并提供针对性解决方案,借鉴软件工程最佳实践,如 Git 版本控制和自动化测试。 提出的解决方案:双智能体框架与结构化环境 解决方案是引入“框架”——一个由提示、脚本和文件组成的系统,确保会话间状态持久化和干净交接。具体分为两个角色: 1. 初始化智能体(Initializer Agent):仅用于首轮会话,负责搭建初始环境。生成关键文件,包括: · feature_list.json:一个JSON格式的功能清单,列出所有任务(如“创建新聊天”),每个包含描述、步骤和初始“passes”状态(false)。JSON格式确保不可变性,防止后续编辑。 · claude-progress.txt:日志文件,记录动作和进展。 · init. sh:启动脚本,用于运行开发服务器、测试基础功能,减少后续设置开销。 初始化后,进行首次 Git 提交,形成干净基线。 2. 编码智能体(Coding Agent):后续会话专用,专注于渐进式进展。每个会话仅处理一个功能: · 会话启动例程:检查目录(pwd)、审阅 Git 日志和进展文件、运行 init. sh 启动环境、验证核心测试。 · 工作流程:从 JSON 清单选一未完成功能,编码、提交描述性 Git 变更、更新 “passes” 状态(仅在通过测试后),并记录日志。 · 强调“干净状态”(clean state):结束时,代码须无bug、文档齐全、可直接合并到主分支。 关键实践与工具集成 · 功能清单与 Git:JSON 清单防止“过早完成”,Git 提供回滚和历史追踪。实验显示,相比 Markdown,JSON 减少了不当修改。 · 端到端测试:集成浏览器自动化工具(如 Puppeteer MCP 服务器),模拟人类操作(如点击模态框、截图验证)。这捕捉代码审查忽略的交互 bug,但文章也指出局限,如原生浏览器元素的处理。 · 提示策略:初始化和编码提示不同——前者聚焦搭建,后者强调单一功能和验证。使用强约束语言(如“绝不编辑测试”)规避失败。 · 失败模式表格:文章附表总结问题(如“设置混淆”)及应对(如标准化脚本),便于实际应用。 结论与展望 Anthropic 的经验证明,这种框架能显著提升长运行智能体的可靠性:从混乱的“一击即溃”转向工程化的持续迭代。关键启示是借用人类工程实践(如版本控制、测试驱动开发),结合 AI 的自动化潜力。从简单项目起步,审视失败模式,并扩展到多智能体系统(如专职测试智能体)。未来方向可以泛化到其他领域,如科学研究或财务建模,探索更复杂的协作架构。 博客地址: