#sambanova

avatar
Compute King
1个月前
这是一条过去两个星期被低估的新闻：这或许已经证明，初创公司再也无法和NVidia在训练市场竞争。 或者说，要想真刀真枪地挑战，初创公司得端出让人眼前一亮的训练性能，可能得数倍于英伟达，才能打破其在该领域建立起来的惯性壁垒。但到现在为止，还没人拿出过能在训练端跟英伟达一较高下的产品。 独家：SambaNova 裁员 15%，聚焦推理业务 By Sally Ward‑Foxton，EETimes 人工智能硬件初创公司SambaNova本周裁减了约15%的员工（其团队规模约500）。 SambaNova一位发言人对《EE Times》表示，此轮裁员正值公司战略由训练（Training）工作负载向AI云服务提供商转型之际。 “在过去一周，SambaNova根据当前市场状况以及我们从模型训练向微调（Fine‑tuning）和推理（Inference）转变的战略做出了调整，”该发言人说。“我们已迅速转向，专注于交付云优先解决方案，帮助企业和开发者在大规模环境中部署开源模型。为此，我们做出了艰难决定，与约75名员工分道扬镳，并重组团队以支持下一阶段增长。” 虽然数据中心AI推理（Inference）芯片市场潜力巨大，但迄今为止最大规模的部署仍采用超大云服务商（Hyperscaler）自研芯片或英伟达GPU，AMD GPU也赢得了少数超大规模客户。SambaNova的目标客户 —— 企业市场 —— 则通过云服务试探性地部署基于大型语言模型（LLM）的应用以实现推理。 大型商业AI负载的重心已从训练大型基础模型，转向按Token提供开源基础模型的推理服务。因此，数据中心AI芯片和硬件初创公司纷纷转型，通过云端为开源LLM提供API访问服务。近几个月来，SambaNova已加入Cerebras和Groq阵营，从自有硬件上提供LLM Tokens as a service。三家公司最初均专注于向其他云厂商和本地部署环境销售硬件系统，其中SambaNova和Cerebras仍在出售硬件系统。 公司与技术发展历程 SambaNova由梁卓鸿（Rodrigo Liang）与斯坦福大学教授Kunle Olukoton、Chris Ré于2017年共同创立，并于2020年12月结束“潜伏”状态。2023年，SambaNova发布了其最新一代专为LLM微调与推理设计的芯片。公司软件栈SambaNova Studio面向企业AI，既可与SambaNova机架级硬件捆绑用于本地集群，也可在云端提供服务。SambaNova还研发了自有的“专家组合”（Composition of Experts）基础模型架构。 融资状况 SambaNova在2021年完成D轮融资，使其累计融资超过11亿美元，估值超50亿美元。 原始链接：
#初创公司 #NVIDIA #训练市场 #sambanova #裁员 #推理业务
avatar
Haoshan Hong
4个月前
这绝对是一周以来最重要的新闻，但却没有人报道也很少人发现。 Groq和sambanova开放了对普通开发者的付费权限！ 他们不是简单的 API 提供商，他们是飞速的 API 提供商。 和几十token每秒的生成速度相比，几百几千token每秒不只是速度上量级的改变，对应用场景来说也是会带来质变的。 此前，普通开发者只能免费试用这些革命性的API，忍受着限额，并不能实际投入产品中。 但现在开通付费之后可以无限爽用了。 之前是想花钱都没地方花，除非用企业申请。 但现在每个人都可以付钱用他们的服务了，这对产品的变革是巨大的。 尤其是在现在开源模型越来越强大的背景下，速度将会是一个至关重要的因素。 groq， sambanova，cerebras这三家公司就是把速度做到极致的，其中cerebras还没有开放付费，只有groq和sambanova开放了。 赶紧趁着这周时间用这些飞速的token做点事情吧。 现在网上的新闻有很多，但分为看似重要的新闻和实际重要的新闻。 这几家公司开放付费使用token或许没那么起眼，但实实在在是最获真价实、最有用的消息。
#Groq #sambanova #开放权限 #API #开发者 #速度提升 #应用场景