相关新闻

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

16小时前

Sam😄，Token继续空转，还有什么好办法能维持token消耗呢？

placeholder

Morris

1天前

上学时，高中舍不得用的本子，现在翻出来，没有任何的用处。这才能够理解，原来挥霍和珍惜是同一件事情，真正的珍惜或许不是供奉，而是让美好的事物参与到我们的生命流动之中。花开堪折直须折，莫待无花空折枝。舍不得有时候，也是一种浪费。

placeholder

leiysky

1周前

KVCache 这命名老是让 infra 工程师误解，实际上和 Key-Value Storage 一分钱关系都没有，更接近一个内存池。 简单来说就是作为 memo 的 vector<(float[A][B][C], float[A][B][C])>，分别对应 LLM QKV 中的 K cache 和 V cache。其中的第 i 个元素表示模型对序列中第 i 个 token 计算出

placeholder

守晨💤

1周前

Sonnet4.5出来后感觉token越来越不耐用了🫠

placeholder

墙国蛙蛤蛤🐸（OK革命👌观察中）

2周前

浪费了，纯铁的能拿去卖破烂 🕶️ 匿名投稿