#KVCache

1天前

KVCache 这命名老是让 infra 工程师误解，实际上和 Key-Value Storage 一分钱关系都没有，更接近一个内存池。简单来说就是作为 memo 的 vector<(float[A][B][C], float[A][B][C])>，分别对应 LLM QKV 中的 K cache 和 V cache。其中的第 i 个元素表示模型对序列中第 i 个 token 计算出的中间表示。

#KVCache #内存池 #LLM #QKV #Token