#Groq

avatar
Geek
3个月前
Groq 的 QwQ-32B 以 453.20 T/s 的惊人速度运行时，看到「思考1秒」的标签还以为是系统偷懒，点开却发现它生成了大量中间推理内容，但结果却差强人意……突发奇想尝试用 DeepClaude 混合模型，试着将 Groq 的推理过程传给 GPT-4o 分析，结果速度太快，连 DeepClaude 都没捕捉到推理内容就结束了。😂
#人工智能 #模型推理 #混合模型 #GPT-4o #DeepClaude #Groq #QwQ-32B #系统性能 #推理分析 #技术挑战
avatar
Haoshan Hong
4个月前
这绝对是一周以来最重要的新闻，但却没有人报道也很少人发现。 Groq和sambanova开放了对普通开发者的付费权限！ 他们不是简单的 API 提供商，他们是飞速的 API 提供商。 和几十token每秒的生成速度相比，几百几千token每秒不只是速度上量级的改变，对应用场景来说也是会带来质变的。 此前，普通开发者只能免费试用这些革命性的API，忍受着限额，并不能实际投入产品中。 但现在开通付费之后可以无限爽用了。 之前是想花钱都没地方花，除非用企业申请。 但现在每个人都可以付钱用他们的服务了，这对产品的变革是巨大的。 尤其是在现在开源模型越来越强大的背景下，速度将会是一个至关重要的因素。 groq， sambanova，cerebras这三家公司就是把速度做到极致的，其中cerebras还没有开放付费，只有groq和sambanova开放了。 赶紧趁着这周时间用这些飞速的token做点事情吧。 现在网上的新闻有很多，但分为看似重要的新闻和实际重要的新闻。 这几家公司开放付费使用token或许没那么起眼，但实实在在是最获真价实、最有用的消息。
#Groq #sambanova #开放权限 #API #开发者 #速度提升 #应用场景
avatar
Huihoo灰狐
6个月前
Nvidia, GPU (Graphics Processing Unit) Google, TPU (Tensor Processing Unit) Groq, LPU (Language Processing Unit) Groq：Nvidia 的最新 AI 竞争对手 Groq 创新的核心是其 LPU，旨在以前所未有的速度加速 AI 模型，包括 ChatGPT 等语言模型 与使用高带宽内存 (high-bandwidth memory, HBM) 的 GPU 不同，Groq 的 LPU 利用 SRAM 进行数据处理，从而显著降低能耗并提高效率 GroqChip 的独特架构与其时间指令集相结合，可实现非常适合自然语言和其他顺序数据的顺序处理 Groq Language Processing Unit (LPU) 与最初为图形处理而设计的 GPU 完全不同，LPU 是为 AI 推理和语言而设计的 Groq 是 LPU 的创造者，它从头开始构建，以满足 AI 的独特特性和需求 LPU 以更快的速度运行大型语言模型 (LLM)，在架构层面上，与 GPU 相比，其能源效率提高了 10 倍 Groq 使用 Haskell 的其中一个目的是为新芯片 LPU 提供嵌入式领域特定汇编语言（assembly EDSL，汇编 EDSL） 这也是 Haskell 又一成功案例 Groq 创始人兼 CEO：Jonathan Ross 在创立 Groq 之前，Jonathan 启动了 Google 的张量处理单元 (TPU) 项目，这是一个 20% 的项目，他设计并实现了第一代 TPU 芯片的核心元素 Jonathan 接下来加入了 Google X 的快速评估团队，这是著名的“Moonshots factory”的初始阶段，他为 Google 的母公司 Alphabet 设计并孵化了新的 Bets (Units) Jonathan 师从纽约大学柯朗研究所的 Yann LeCun
#NVIDIA #AI #Groq #GPU #TPU #LPU #ChatGPT