#低精度计算

6天前

从 Blackwell 开始 GPU 没那么好玩了。我记得很久以前每次买一张新（消费级）卡，插上电脑，都能直接体验到PyTorch/游戏性能提升，但是现在换上新卡，以前优化到极致的 kernel 性能不升反降，速度提升全都依赖低精度（fp8/fp4），还需要自己手调，着实没有以前那种 it just works 的感觉了。以后可能 raw power 的提升会进一步变慢，靠的都是奇技淫巧。

#blackwell #GPU性能下降 #Pytorch #低精度计算 #优化挑战