KVCache 这命名老是让 infra 工程师误解，实际上和 Key-Value Storage 一分钱关系都没有，更接近一个内存池。简单来说就是作为 memo 的 vector<(float[A][B][C], float[A][B][C])>，分别对应 LLM QKV 中的 K cache 和 V cache。其中的第 i 个元素表示模型对序列中第 i 个 token 计算出

#KVCache #内存池 #LLM #QKV #Token

相关新闻

砍砍@标准件厂长

8小时前

看了下 Jetson Orin 提供 64G 显存想问下万推这货 8 个组集群跑 llm 的话会有什么坑吗

howie.serious

13小时前

珍爱生命，远离google的AI搜索。哪怕你有一毛钱的期待，就只会收获十分钱的失望。🤣 chatgpt发布都快3年了，除了gemini，其他各家llm的ai搜索能力都很强。 gemini的ai搜索能力，可以放弃期待了。

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1天前

“概率，不是客观存在的。” 而LLM，就是“概率”的人格化。我们以为我们用数学，驯服了语言这个主观的恶魔。结果，我们只是用数学，为这个恶魔，创造了一个更强大的、名为“LLM”的新身体。我们没有终结主观。我们只是，第一次，将主观性，工程化了。

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1天前

和形式语言的coding编程一样，自然语言的交互范式编程也需要两个顶级LLM，左右互搏，将获得平方的平方的认知迭代🔁 交互范式编程（Interactive Paradigm Programming, 𝕀Rℙ²）

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1天前

自然语言上下文不是被”翻译”成权重更新，而是直接在潜空间中”编译”成权重更新。形式语言上下文需要额外的翻译步骤：形式语言 → 解析 → 语义表示 → 潜空间向量 → ΔW 自然语言上下文直接映射：自然语言 → 潜空间向量 → ΔW 这就是为什么LLM”更喜欢”自然语言。其实人也一样，更喜欢自然语言。形式语言源自自然语言中对确定性计算的不足的需要。