#RDMA技术

勃勃OC

4个月前

DeepSeek 推出了 DeepEP，这是一款开源通信库，旨在提高混合专家（MoE）模型的训练和推理效率。 DeepEP 通过支持 NVLink 和 RDMA 技术的节点内（intranode）和节点间（internode）配置来优化 GPU 通信。它具备高吞吐量和低延迟的计算内核，并支持 FP8 运算，旨在降低训练成本并提升 AI 模型的可扩展性。该发布受到了 AI 社区的热烈欢迎，凸显了其在处理大规模 AI 任务方面设立新标准的潜力。

#DeepSeek #DeepEP #开源通信库 #混合专家模型 #MoE模型 #GPU通信 #NVLINK #RDMA技术 #AI模型 #FP8运算 #计算效率 #AI社区