小互 0 关注者 关注 1个月前 据报道:阿里云推出一个名为 Aegaeon 的 GPU 资源池化系统 该系统可以在其AI 模型推理服务场景中,将原本使用H20 GPU的 数量从 1,192 块缩减至仅需 213 块 节省约 82% 的用量🙃 该系统核心原理是在「同时服务多个LLM」的场景下,通过更高效的 GPU 资源复用、模型切换、中断/切换节点优化、利用“闲置” 或低利用模型的资源”来提升每块 GPU 的使用效率。 阿 #阿里云 #Aegaeon #GPU资源池化 #LLM #GPU利用率提升 前往原网页查看