#AI加速

2周前

看了甲骨文财报电话会纪要，再一次印证了之前聊到的AI正在加速，甚至加速被加速。就像老黄在8月底说的推理token生成量一年增长十倍，还在加速增长没有减速迹象，对于算力的需求还在持续增长。甲骨文最新一季财报也说明了这一点，营收业绩算正常，但是其“剩余履约义务”（RPO）猛增至4550亿美元，同比增长359%。电话会上管理层还透露预计未来几个月将签署更多大额合同，RPO可能超过5000亿美元。甲骨文CEOSafra Catz表示，本季表现“惊人”，云基础设施需求持续增长。由于云服务需求旺盛，公司面临供应瓶颈，需将部分客户订单安排到未来。妥妥的供不应求当然算力的下游需求都是来几家巨头科技巨头，openAI首当其冲，微软、谷歌、Meta都在加入算力抢购大潮之中。很多人担心进入基础设施的泡沫，这里可以拿微软最新一季财报来看，微软Azure云业务里AI云的收入已经达到了40亿美金，而且还保持着超过100%的同比增速，而微软Azure非AI 同比增速只有25%，亚马逊aws的同比增速是17%。可以说AI云服务下游的需求在暴增，需要大量的计算产能的供给。昨天微软甩给$nbis 五年190亿美金的大单，今天甲骨文爆出来四五千亿美金的剩余未履约义务，估计能然市场对于算力的需求信心大增。

英伟达市值破四万亿，AI芯片霸主地位稳固？· 77 条信息

#甲骨文 #AI加速 #算力需求 #云服务 #微软Azure

1个月前

边缘加速进行时⏩ Nvidia 最新人形机器人大脑 Jetson AGX Thor 正式发售 3,499 美元一套，面向开发者！Blackwell GPU提供动力，并具有 128GB 内存，在 130瓦的功率包络中提供高达 2,070 Tflops FP4 浮点运算能力👀 说实话 AI 的加速边缘是个比云端更大的市场🤖

#边缘计算 #NVIDIA #人形机器人 #Jetson AGX Thor #AI加速

2个月前

介于LLM的幻觉问题，没有得到彻底解决，所以任何直接通过LLM得到的输出都是不靠谱的。必须通过一些验证方式，形成pipeline，callback给LLM，让AI自动修正。这样得到的结果，才会比较让我放心。用AI加速tidb repo效率的一点想法🤔🤔🤔🤔🤔

#LLM幻觉 #AI自动修正 #tidb repo效率 #pipeline验证 #AI加速