勃勃OC
58分钟前
勃勃OC
8小时前
转自GavinSBaker: 我认为 Nvidia 收购 Groq 主要出于两个原因。 1)推理正在拆分为 prefill 和 decode 两个阶段。 在 decode 阶段,对于性能主要由内存带宽决定的工作负载,SRAM 架构具有独特优势。 Rubin CPX、Rubin 以及基于 Groq 衍生出来的假想版本 “Rubin SRAM”,将使 Nvidia 能够通过混搭不同芯片,为每一种工作负载在性能与成本之间找到最优平衡。 Rubin CPX:由于采用容量极高但带宽相对较低的 GDDR DRAM,非常适合在 prefill 阶段处理超大上下文窗口。 Rubin(标准版):是训练以及高密度、批量推理的主力产品,其 HBM DRAM 在内存带宽与容量之间取得了良好平衡。 基于 Groq 的 “Rubin SRAM”:由于 SRAM 具备极高的内存带宽(但容量较低),非常适合**超低延迟的 agentic reasoning(智能体推理)**类推理工作负载。在这种情况下,prefill 阶段很可能仍由 CPX 或普通 Rubin 来完成。 2)长期以来已经很清楚:SRAM 架构在 token/s(每秒 token 数)指标上,可以显著高于 GPU、TPU 或任何目前见过的 ASIC。 其代价是:单个用户的极低延迟,但单位成本的吞吐量较低。 18 个月前尚不明确的是,终端用户是否愿意为这种速度付费(由于 batch 很小,SRAM 的单 token 成本更高)。而现在,从 Cerebras 和 Groq 最近的结果来看,已经非常明确:用户愿意为速度买单。 这进一步增强了我的判断:除了 TPU、AI5 和 Trainium 之外,其他 ASIC 最终都会被取消。 在 三种 Rubin 变体 以及多种配套网络芯片面前,竞争将异常艰难。 当然,听起来 OpenAI 的 ASIC 可能会出乎意料地优秀(明显好于 Meta 和 Microsoft 的 ASIC)。 接下来要看看 AMD 会怎么做。 Intel 已经在朝这个方向推进(他们有一个 prefill 优化的 SKU,并且收购了 SambaNova——这是 SRAM 阵营里最弱的竞争者)。 有点讽刺的是,Meta 买了 Rivos。
勃勃OC
9小时前
Peter Thiel: 关于这场 AI 革命,有很多地方我其实并不特别喜欢。 它看起来高度集中在大型公司身上,因此很有可能大部分回报会被少数几家公司攫取,从而导致极度不均衡的增长。 虽然它或许能在某些方面补充人类劳动,但我认为它更可能是替代,而不是互补。对很多人来说,它会呈现出一种零和博弈的感觉。 但与此同时,如果我们的社会没有其他增长引擎,那我们不去拥抱 AI 反而是不理性的。我不认为 AI 的规模足以解决财政赤字问题,但如果美国选择拥抱 AI,而欧洲选择拒绝它,那么美国的处境很可能会比欧洲好一些。 至于它是不是一个泡沫,这个问题我经常被欧洲人问到——而他们之所以会这么问,恰恰说明他们并不打算在欧洲真正大规模建设 AI。 如果这是一个泡沫,那就意味着人们在 AI 上投入了过多资金:修建了太多数据中心,购买了太多芯片,而最终会出现严重递减的回报。 在 1990 年代的泡沫中,问题主要出在电信光纤基础设施上,人们投得太多,后来不得不被迫收缩。 但也有可能情况正好相反:AI 的回报率很高,它能够推动某些工作流程的自动化,并显著提升生产率。 如果 AI 泡沫并没有破裂,那么它最终可能会变得相当具有通胀性,因为这些数据中心需要消耗大量电力。 我们经济中属于“原子世界”的那一部分(也就是能源、实体基础设施)是高度受监管的,电力产能并不容易迅速扩张。 但如果将电力投入 AI 芯片的回报真的很高,它就会吸收大量能源。 由于对资本的需求上升,利率可能会维持在更高水平。 我在宏观层面的一个“暂定判断”是:这一趋势还会继续。
勃勃OC
9小时前
勃勃OC
11小时前