#论文

avatar
google今天这篇2025年4月的论文居然引发了存储的下跌，那我们就再重读一下： KV cache 一直是大模型推理里的最大内存消耗来源。论文的做法，本质是用信息论最优的方式去压缩这些数据。不是简单地降低精度，而是重新分配信息密度。普通部分用极低比特表示，异常值单独保留更高精度。同时不再逐元素处理，而是以向量为单位编码，因为 attention 本身就是内积结构。 关键的是，它的误差已经贴近信息论下界（香农极限），也就是说压缩效率已经非常接近理论极限。论文里给出的结果，大致是 4 到 4.5 倍的压缩，性能几乎没有明显损失。效果很明显，但后续再压缩而不损伤性能的可能性已经很小。 基于大科技的内部研发流程，论文的方法及可能对模型产生的优化效果很可能已经被工程分阶段吃掉了。 比方说，低比特量化早就被用起来了，从 int8 到 int4，再到更低精度，主流模型在推理侧基本都在用。异常值单独处理这件事也不是新东西，SmoothQuant、AWQ 这些方法本质上都在做类似的事情。KV cache 本身的压缩、滑窗、分层缓存，在大模型里也已经是常规配置。 真正还没完全落地的，是论文里更极致的那一部分，比如向量量化，以及更接近信息论极限的编码方式。这些方法的问题不是原理，而是工程实现，GPU 不友好，延迟控制难，稳定性和泛化也更复杂，所以可能需要更长时间实现。 如果一定要拍脑袋猜一下论文已经落地和还没落地的部分可能有多少的话，大致可能是这么个情况：最早的 KV cache 是 1 倍成本，简单量化之后可以做到 2 到 3 倍压缩，加上异常值处理可以到 3 到 4 倍，论文再往前推一点，大约到 4 到 4.5 倍。也就是说，大部分红利已经被拿走了，剩下的提升空间不大，而且代价越来越高。 这背后的原因也很清楚。前期压缩是在去掉冗余信息，后面面对的是有效信息，再压就会直接影响模型能力。误差不再是平滑变化，而是到某个点之后快速恶化。实现难度也不是线性增长，而是明显抬升。 从模型表现可以反推，现在的主流模型已经在用这些技术。长上下文能力、推理成本下降、性能稳定，这些现象本身就说明 KV cache 的效率已经被大幅优化。像 Google 这种级别的团队，大概率已经实现了低比特量化、异常值处理和一部分 KV 压缩。 也就是说，如果说google的这篇论文对存储可能有影响的话，其大部分的影响已经被体现了出来，还没体现出来的部分，其实施难度也会较之前更大。 更重要的是，这篇论文的意义不在于多省了多少内存，而在于给出了一个边界。KV cache 压缩这条路已经接近极限，剩下的提升空间很有限。接下来真正能带来变化的，不太可能再来自压缩本身，而是需要找到其他的路径。
#谷歌 #论文 #存储 #kv cache #大模型 #内存消耗 #信息论 #数据压缩 #精度 #向量编码 #attention #误差
avatar
苏神博客上的配图比论文里的清楚多了... 连线有颜色区分，一看就知道，论文里的单色混在一起。
#苏神博客 #论文 #配图 #清晰度
avatar
除了知网 Google Scholar，这个“学术界 Facebook”你一定要拥有！ 写论文最痛苦的是什么？ 搜到的文献全是付费墙（Paywall），看一眼摘要就要几十刀？ 想找的大佬论文在学校数据库里居然没有收录？ 投了稿石沉大海，不知道自己的研究到底有没有人在看？ 今天安利一个学术圈神仙网站——！如果说 ResearchGate 是理工科阵地，这里就是人文社科和全学科的宝藏库 。 1⃣真正的“文献自由” 超过 5500 万份 可直接下载的 PDF。很多你在期刊官网下载要收费的文章，作者本人可能就把 PDF 上传到了这里。 特别是历史、社会学、心理学、人类学这种冷门或者专著很难找的学科，这里简直是天堂！连中世纪历史、应用经济学这种细分领域的资源都多到爆炸 。​ 2⃣这里的“朋友圈”全是学霸 ​ 你可以 Follow 你研究领域的顶级大牛，他们发了新文章，你第一时间就能收到提醒（比期刊邮件快多了！）。 这也是个刷“存在感”的好地方。上传你的论文、讲座 PPT 甚至是未发表的草稿，让全球同行看到你的成果。据说已经有近 3 亿 注册用户在这里“混脸熟”了 。​ 3⃣满足你的“学术虚荣心” (Analytics) 这是它最让人上瘾的功能！ 谁看了你？ 哪怕你只是个学术小白，后台也会告诉你：“刚才有人在牛津大学搜索了你的名字”、“有个哈佛的研究员下载了你的论文”。 这种实时反馈对于正在熬夜写论文、怀疑人生的你来说，简直是巨大的精神慰藉！ 保姆级使用攻略 & 避坑指南 注册账户：建议用学校邮箱 (.edu)，看起来更专业，有时候还能解锁更多权限 。​ 善用搜索：直接搜关键词或作者名，如果看到绿色按钮 "Download PDF"，恭喜你，省下了一笔巨款！ 建立 Profile：把自己的研究兴趣填详细点，算法会像抖音一样给你推送极其精准的最新文献 。​ 避坑 Tips（敲黑板！） 关于收费（Premium）： 注册和基础下载是完全免费的！它会疯狂给你发邮件推销 Premium 会员（可以看到具体是谁看了你的主页、高级搜索等）。 对于大多数学生党，免费版完全够用！除非你急需通过“谁引用了我”来通过教职考核，否则不一定要开会员 。​ 邮件轰炸： 这网站是出了名的“邮件狂魔”。注册后第一件事：去设置里关掉不必要的 Email Notifications，只保留“Mentions”或者“New Papers in my field”，否则你的邮箱会被塞爆 。
#学术资源 #ResearchGate #文献下载 #学术社交 #论文
avatar
汉松
4个月前
一图胜千言，哆啦 A 梦学习法太强了。以后看论文和技术文章，都可以用这个方法快速了解原理。（使用方法见评论区）
#哆啦A梦 #学习法 #论文 #技术文章 #快速了解
avatar
小菜鸡准备周末看看这个传说中的论文 第一次看论文 刚才粗略看了下 没看懂😂
#论文 #看不懂 #小菜鸡 #周末 #第一次
avatar
只配抬杠
4个月前
“俺们论文能不能过全靠这片地的收成了”
#论文 #农业 #收成
avatar
这个傻逼终于1.6w关注了 我决定今晚就把论文发给老板
#傻逼 #1.6w关注 #论文 #老板 #今晚
avatar
IMO的论文终于发出来了
#IMO #论文 #学术 #积极
avatar
Michael Anti
4个月前
我也在用谷歌的Notebooklm，好用的部分：总结、提问。过誉的部分：它的audio、video摘要（也就是博客），主要是长度的关系，基本上只取文章的开头几章，对了解全书无益，不信，你扔任何一本小说进去试试。不过，Notebooklm对于论文这种重点总结在前面的文章，却也效果不错。
谷歌Deep Research：AI操作系统雏形？· 145 条信息
#NotebookLM #谷歌 #总结提问 #论文 #效果不错
avatar
向阳乔木
5个月前
deepseek这个论文的想法实在是有趣。 现在大模型不是记忆不好，而是太好了，需要合理的遗忘策略。
深度学习模型升级引发AI能力大跃进，行业迎新变革· 143 条信息
#DeepSeek #大模型 #遗忘策略 #有趣 #论文
avatar
henu王凯
5个月前
这篇解释目前强化学习技术路线的论文可以看看，“强化学习”地位非常重要，但我们其实很难看懂算法原理——这通常需要很好的数学知识。 所以如果不是做强化学习
#强化学习 #算法原理 #数学知识 #技术路线 #论文
avatar
indigo
5个月前
自从 Gemini 2.5 Pro 推出之后，我消费播客、论文还有长文的数量就大幅增加！AI 的质量越高、速度越快，我的用量反而越大，花了更多时间在内容获取上，这活脱脱的“杰文斯悖论”🤣 不知道大家是不是也这样 。。。
Google Gemini 2.5发布引发AI模型性价比热议· 475 条信息
OpenAI新德里发布会：ChatGPT语音翻译功能引发热议· 869 条信息
#Gemini 2.5 Pro #AI #播客 #论文 #杰文斯悖论
avatar
Meta论文最近爆发了吗？ 作者中有最近过去的人的署名吗
#Meta #论文 #署名 #去世 #争议
avatar
天天研究元认知，咋没好好看看这篇论文呢 Meta-R1: Empowering Large Reasoning Models with Metacognition
#元认知 #大型推理模型 #Meta-R1 #论文 #研究
avatar
刚刚还看到一篇啥论文来着：Thinking Augmented Pre-Training
#论文 #Thinking Augmented Pre-Training
avatar
Gorden Sun
6个月前
LLM强化学习综述 论文：
#LLM #强化学习 #综述 #论文
avatar
把论文写在浩瀚星河，他擦亮了中国安在太空中的“眼睛”
#浩瀚星河 #中国太空 #论文 #太空眼睛 #积极
avatar
知网恢复展示武汉大学杨某媛论文
武汉大学性骚扰事件后续：男方PTSD，女方败诉情绪崩溃· 68 条信息
#知网 #武汉大学 #杨某媛 #论文 #恢复展示
avatar
武汉大学研究生院回应杨某媛论文知网下架：正在核实
9月10日上午，第一财经记者查询中国知网发现，武汉大学图书馆事件当事人杨某媛的论文《中印生育行为影响家庭暴力的经济学分析..._新浪网
武汉大学图书馆性骚扰案引发社会关注，学校展开全面调查· 21 条信息
#武汉大学 #杨某媛 #论文 #家庭暴力 #中印生育行为
avatar
henu王凯
6个月前
OpenAI这两天刚发的研究文章《为什么大模型会有幻觉》，我重点细究“哪些领域容易有幻觉，哪些领域不容易有幻觉？”等实际应用场景的问题，后面使用时方便仔细审阅容易产生幻觉的场景。 可能是最近过的论文有点多，
#OpenAI #大模型 #幻觉 #研究 #论文
avatar
dontbesilent
6个月前
多样化的尝试总是有趣的 ​ ​昨天晚上尝试追了一下 OpenAI 的论文热点，竟然在抖音今天早上发现有 1000 多个赞，​破个 10 万播放不难 ​ ​考虑出一个论文系列，把辛顿、巴伦霍尔茨的都拿出来拍拍 ​ ​要不要加 BGM 这个事儿没搞清楚 ​ ​评论区有几个人说这个 BGM 的声音影响听清楚内容，但是从流量结果上看并不差 ​ ​这个还得测试，加 BGM 和不加 BGM 的各发3篇，最终看结果
#OpenAI #论文 #抖音 #BGM #流量测试
avatar
读论文成了研究的主要任务，这岂不是LLM最擅长的？如果实验的sop和过程数据足够，RLVR做推理，AI for science
谷歌Deep Research：AI操作系统雏形？· 145 条信息
#LLM #研究 #论文 #AI #实验
avatar
henu王凯
7个月前
以下图为例，我每次把感兴趣的播客、论文等给到它，让其挑选重点教我、给我做结合方案，我总有种感觉——我在请教一个个垂直场景的专家，专家从其专业知识给我启发。 具体能否落地先放一边，但是非常开拓思路，
#播客 #论文 #垂直场景 #专家 #启发
avatar
GitHubDaily
7个月前
想深入了解 AI Agent 的发展路线，却发现大部分资料分布在各个方向，找论文、整理资料让我们颇为头大。 这时候，发现了 Awesome-Self-Evolving-Agents 开源项目，它帮我们系统梳理了 Agent 自我演化的完整技术图谱。 还提供了高清的知识树和发展路线图，内容覆盖了从单体行为优化到多智能体协作、记忆机制、工具调度等多个方向。 GitHub： 并且整理了 2022～2025 年的重要相关论文，每篇论文都标注了笔记、源码和核心概念，查找对比非常方便。 适合正在研究 Agent 技术的同学或准备写综述、找选题的 AI 研究者使用查看阅读。
#AI Agent #自我进化 #技术图谱 #开源项目 #论文
avatar
马东锡 NLP
7个月前
Emergent Misalignment 论文中的一些例子，大家可以看看，是不是很可怕
#Emergent Misalignment #论文 #AI风险 #技术伦理 #负面