Huihoo灰狐
1个月前
-
Nvidia, GPU (Graphics Processing Unit) Google, TPU (Tensor Processing Unit) Groq, LPU (Language Processing Unit) Groq:Nvidia 的最新 AI 竞争对手 Groq 创新的核心是其 LPU,旨在以前所未有的速度加速 AI 模型,包括 ChatGPT 等语言模型 与使用高
Nvidia, GPU (Graphics Processing Unit) Google, TPU (Tensor Processing Unit) Groq, LPU (Language Processing Unit) Groq:Nvidia 的最新 AI 竞争对手 Groq 创新的核心是其 LPU,旨在以前所未有的速度加速 AI 模型,包括 ChatGPT 等语言模型 与使用高带宽内存 (high-bandwidth memory, HBM) 的 GPU 不同,Groq 的 LPU 利用 SRAM 进行数据处理,从而显著降低能耗并提高效率 GroqChip 的独特架构与其时间指令集相结合,可实现非常适合自然语言和其他顺序数据的顺序处理 Groq Language Processing Unit (LPU) 与最初为图形处理而设计的 GPU 完全不同,LPU 是为 AI 推理和语言而设计的 Groq 是 LPU 的创造者,它从头开始构建,以满足 AI 的独特特性和需求 LPU 以更快的速度运行大型语言模型 (LLM),在架构层面上,与 GPU 相比,其能源效率提高了 10 倍 Groq 使用 Haskell 的其中一个目的是为新芯片 LPU 提供嵌入式领域特定汇编语言(assembly EDSL,汇编 EDSL) 这也是 Haskell 又一成功案例 Groq 创始人兼 CEO:Jonathan Ross 在创立 Groq 之前,Jonathan 启动了 Google 的张量处理单元 (TPU) 项目,这是一个 20% 的项目,他设计并实现了第一代 TPU 芯片的核心元素 Jonathan 接下来加入了 Google X 的快速评估团队,这是著名的“Moonshots factory”的初始阶段,他为 Google 的母公司 Alphabet 设计并孵化了新的 Bets (Units) Jonathan 师从纽约大学柯朗研究所的 Yann LeCun