#LLM推理

2周前

提到KV Cache, 我以前只能想到Redis. 🫠今天终于认真了解了KV Cache, 明白了为什么KV Cache是现在LLM推理性能的最关键的bottleneck。以下是我的take away～🤓

#kv cache #LLM推理 #性能瓶颈 #Redis #技术学习