艾略特

统计数据

6

文章

0

粉丝

0

获赞

12510

阅读

1周前

论文来了。名字叫 MSA，Memory Sparse Attention。一句话说清楚它是什么：让大模型原生拥有超长记忆。不是外挂检索，不是暴力扩窗口，而是把「记忆」直接长进了注意力机制里，端到端训练。过去的方案为什么不行？ RAG 的本质是「开卷考试」。模型自己不记东西，全靠现场翻笔记。翻得准不准要看检索质量，翻得快不快要看数据量。一旦信息分散在几十份文档里、需要跨文档推理，就抓瞎了。线性注意力和 KV 缓存的本质是「压缩记忆」。记是记了，但越压越糊，长了就丢。 MSA 的思路完全不同： → 不压缩，不外挂，而是让模型学会「挑重点看」核心是一种可扩展的稀疏注意力架构，复杂度是线性的。记忆量翻 10 倍，计算成本不会指数爆炸。 → 模型知道「这段记忆来自哪、什么时候的」用了一种叫 document-wise RoPE 的位置编码，让模型天然理解文档边界和时间顺序。 → 碎片化的信息也能串起来推理 Memory Interleaving 机制，让模型能在散落各处的记忆片段之间做多跳推理。不是只找到一条相关记录，而是把线索串成链。结果呢？ · 从 16K 扩到 1 亿 token，精度衰减不到 9% · 4B 参数的 MSA 模型，在长上下文 benchmark 上打赢 235B 级别的顶级 RAG 系统 · 2 张 A800 就能跑 1 亿 token 推理。这不是实验室专属，这是创业公司买得起的成本。说白了，以前的大模型是一个极度聪明但只有金鱼记忆的天才。MSA 想做的事情是，让它真正「记住」。我们放 github 上了，算法的同学不容易，可以点颗星星支持一下。🌟👀🙏

#MSA #大模型 #注意力机制 #RAG #端到端训练 #记忆机制

1个月前

这是刚看到的一个说法，非常赞同，分享一下身边 AI 用得好的人 5 个特点总结： 1. 专业能力要强本身领域能力扎实，能把任务拆解为清晰步骤，再丢给 AI 执行。 2. 上下文管理要好会在大上下文里分段解决子问题，知道什么时候补充背景、什么时候总结，让 AI 始终“有数”。 3. 一定要学会反问习惯让 AI 先质疑、补充和校对自己的方案，用反问来查漏补缺、抬高项目上限。 4. 沟通表达要准确能清晰、结构化地写问题（包括英文表达），从而让 AI 输出更贴近真实需求。 5. 保持空杯心态不端着，不迷信经验，持续试新用法，在和 AI 的协作中不断找到更顺手的工作流。

4个月前

桌面端的语音转文字工具，下载即用，开源，免费支持 Mac Win 和 linux，支持离线

#语音转文字 #桌面端工具 #开源免费 #离线 #跨平台

5个月前

现在 YouTube 上的长播客越来越多了，除了 Lex Fridman，还有 Joe Rogan、Dwarkesh Patel 等一众专业播客主持人，连 A16Z 都参与其中。嘉宾阵容强大，制作精良，内容非常硬核。不仅仅是 YouTube，B 站也有，比如老罗，鲁豫，王自如等。根据数据，美国有 1.5 亿人在听播客，国内也有 1.2 亿人参与。这市场实在太大了，甚至抢走了不少原本听音乐和有声书的用户。查了一下，长播客的热潮是从 2020 年开始，听众群体主要集中在 25-45 岁之间，大多高知、中产。说实话，每个播客都很想听，但根本听不过来。既然 AI 能帮忙总结内容，为什么还要花时间听全程呢？毕竟大家都挺忙，谁能真的抽出2小时以上来听完整播客？带着这个心态，我连着听了两天 Andrey Karpathy 和 Richard Sutton 的节目，一个是 Vibe Coding 的鼻祖，一个是强化学习（RL）之父。最终的结论是 -- 高知群体的 “陪伴感” + 零散知识，在通勤路上当做背景播放，其实已经足够了。

#长播客 #YouTube #高知群体 #陪伴感 #AI总结

5个月前

发现一个清华计算机课程，免费，Github 36K 星

#清华大学 #计算机课程 #GitHub #免费 #36K星

6个月前

在英推看到外国人惊讶何同学的视频的质量我听了一下，全英文，本以为是某个 AI 带说仔细一听是真小何，丝滑流畅鸡蛋里挑骨头的话，是这种视频太精致少了点「欧美地气儿」，他们都是桌子前直接谈当然，国内的一线 UP 基本都是精致 Style 100 多万的粉丝，17 万播放量，明显质量大于名气视频地址在👇

#何同学 #高质量视频 #文化差异 #精致风格 #海外观众