駿HaYaO

駿HaYaO

0 关注者

6天前

NVIDIA Rubin CPX:解耦推理革命與 GDDR7 重塑記憶體供應鏈 1. 核心理念:解耦推理(Disaggregated Inference) - 背景:AI 大模型推理分為兩個階段: 預輸入(Prefill/Context)階段:運算密集型(FLOPS 重),但記憶體頻寬利用率低(<10%)。傳統 GPU 使用昂貴 HBM 處理此階段,造成資源浪費。 生成(Decode/Gener