#计算效率

14小时前

如果你还没注意到这个变化，那现在应该关注一下：计算的重心正在从预训练转向推理。我们发现，通过在测试时扩大计算资源的投入，效率提升非常显著，而且这种提升的空间似乎还很大。在人工智能领域，预训练阶段就像给模型打好基础，用海量数据让模型学会知识和规律。但真正让模型服务于实际问题的，是推理阶段——就像让学会了知识的人去解决具体问题。过去，大家可能更关注如何让预训练模型变得更大更强，比如用更多数据、更深层的结构。但现在，随着大模型的发展，推理阶段的计算成本和效率问题越来越突出。最近几年，我们看到一个明显的趋势：企业和开发者开始把更多精力放在优化推理上。比如，通过调整模型结构让它在推理时更“聪明”，或者用更高效的硬件加速计算，甚至在推理过程中动态分配资源。这些做法就像给汽车升级了更高效的发动机，虽然车子本身已经不错，但通过优化“跑”的过程，能让速度更快、油耗更低。为什么推理的重要性越来越高？因为预训练模型的规模已经很大了，再单纯扩大预训练的规模，边际效益会递减，甚至可能增加成本。而推理是模型和用户直接接触的环节，直接影响用户体验和实际应用的成本。比如，一个聊天机器人如果推理速度慢、响应不及时，用户就不会喜欢用；一个自动驾驶系统如果推理时间长了零点几秒，可能就会影响安全。所以，现在大家都在想办法让推理更“快”、更“省”，同时还要保证效果不下降。这种转变不是说预训练不重要了，而是说整个技术体系在走向更精细化的分工。就像建房子，打地基（预训练）很重要，但盖好地基后，怎么把房子建得又稳又漂亮（推理优化），同样关键。而且，随着技术的进步，推理阶段的优化空间还在不断扩大。比如，新的硬件技术、更智能的算法，甚至模型本身的“瘦身”技术，都可能让推理效率再上一个台阶。对于企业来说，关注推理阶段的优化，其实是在为未来的竞争做准备。谁能让大模型用更低的成本、更快的速度服务用户，谁就能在AI时代占据更有利的位置。而对于我们每个人来说，这也意味着未来会有更多更智能、更便捷的AI产品和服务，真正走进我们的生活。总的来说，从预训练到推理的重心转移，是AI技术发展到一定阶段的必然结果。这不仅是技术路径的调整，更是对效率和实用性的追求。而这个过程中，我们看到的不只是技术的进步，更是整个行业对“如何让AI更好地服务人类”这个问题的深入思考。

AI高考数学测试：O3意外落后，Gemini夺冠引发热议· 39 条信息

#AI推理优化 #大模型 #计算效率 #用户体验 #技术趋势

7个月前

DeepSeek 推出了 DeepEP，这是一款开源通信库，旨在提高混合专家（MoE）模型的训练和推理效率。 DeepEP 通过支持 NVLink 和 RDMA 技术的节点内（intranode）和节点间（internode）配置来优化 GPU 通信。它具备高吞吐量和低延迟的计算内核，并支持 FP8 运算，旨在降低训练成本并提升 AI 模型的可扩展性。该发布受到了 AI 社区的热烈欢迎，凸显了其在处理大规模 AI 任务方面设立新标准的潜力。

#DeepSeek #DeepEP #开源通信库 #混合专家模型 #MoE模型 #GPU通信 #NVLINK #RDMA技术 #AI模型 #FP8运算 #计算效率 #AI社区

偶像派作手

8个月前

昨天我在使用DeepSeek的时候出现过好几次因为聊天的人太多而无法回答，这恰恰说明仍然需要大量算力，或者说大量算力+优化计算效率。在提升了计算效率后，如果有高端芯片的话那岂不是更加如虎添翼，这样像奥特曼发推说的：“现在比任何时候都更需要算力。”

#DeepSeek #算力需求 #计算效率 #高端芯片 #奥特曼 #科技发展