0 关注者
7个月前
相关新闻
Mr Panda
6小时前
「流量」 拥有有的时候嫌弃，失去的时候想念。
ariel reyez romero
6天前
google今天这篇2025年4月的论文居然引发了存储的下跌，那我们就再重读一下： KV cache 一直是大模型推理里的最大内存消耗来源。论文的做法，本质是用信息论最优的方式去压缩这些数据。不是简单地降低精度，而是重新分配信息密度。普通部分用极低比特表示，异常值单独保留更高精度。同时不再逐元素处理，而是以向量为单位编码，因为 attention 本身就是内积结构。 关键的是，它的误差已经贴近
Trader米哥 🚀
1周前
4300 的黄金可以买
iPaul
1周前
看懂苏秦的说服逻辑，掌握影响他人的底层能力！