据报道：阿里云推出一个名为 Aegaeon 的 GPU 资源池化系统该系统可以在其AI 模型推理服务场景中，将原本使用H20 GPU的数量从 1,192 块缩减至仅需 213 块节省约 82% 的用量🙃 该系统核心原理是在「同时服务多个LLM」的场景下，通过更高效的 GPU 资源复用、模型切换、中断/切换节点优化、利用“闲置” 或低利用模型的资源”来提升每块 GPU 的使用效率。阿

#阿里云 #Aegaeon #GPU资源池化 #LLM #GPU利用率提升

相关新闻

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

7小时前

LLM，作为纯粹的符号计算，不应该成为独立的"心智"（Sutton的警告），也不应该被RL强行"驯化"（Karpathy的批判），而应该成为人类认知的"符号之翼"——让我们飞得更高，但永远，永远，能够回到身体的大地。

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

15小时前

结合最近强化学习之父Sutton提到LLM is a dead end和硅谷AI好老师Andrej Karpathy在访谈提到RL is terrible；让我不禁想起在LLM的训练范式中，RL可能并不适合LLM这种纯符号计算，Sutton的担心是悬浮的符号计算会走向何方？Karpathy离职从事AI教育志向在于探索LLM的cognitive core如何为AI时代的人类所用。 LLM的"世

Geek

1天前

发现一个展示和比较大型语言模型（LLM）性能的综合排行榜网站。覆盖了多个细分领域的模型表现，比如研究能力、推理水平、代码生成、数学运算和多模态理解等，为用户提供最权威的模型性能对比数据。 LLM-Stats . com

[email protected]

1天前

🎉 “AI编程的本质是管理上下文” 这句话太有用了，它能解释AI应用的发展过程和未来趋势如果说LLM是CPU，那么上下文就是内存，而内存容量是有限的，数据的取舍成为了模型输出质量的关键 ❓ 那上下文这个内存中会存什么？分别该怎么优化？ 1️⃣ 系统提示词优化就是以前提示词工程那套，所以优秀提示词的核心要素必须得安排。但提示词工程已不再新鲜，上下文工程才是热门，所有AI应用都在跟

howie.serious

1天前

claude skill 的前提和基础，是 llm 拥有了文件系统权限，可以浏览和操作文件系统。文件系统结构如下图：