腾讯音乐完蛋了,实际上是人类流行音乐完蛋了。 我一直说,艺术基于娱乐,娱乐基于传媒形式, 传媒形式的革命,决定了娱乐形式的革命,决定了观众的选择,决定了艺术家、人才、资本的涌入。 流行音乐的最黄金周期,是广播电台的兴起,电视台的兴起,磁带时期,CD时期,电影时期, 这个年代是流行音乐大行其道的年代,卖磁带和CD是真金白银能挣到钱的,娱乐公司就是印钞机,因为普通人的唯一娱乐就是攒钱去音像店买盘, 网络年代和移动互联网早期,大家都用慢速宽带,功能机和智能机早期没有什么视频App,那个年代网络歌曲已经风起云涌了——虽然庸俗低俗媚俗,无法撼动主流流行音乐的地位,但是已经具有很强的影响力了。 那个年代至少看视频还很费劲,有人看youtube,有人看优酷,大部分人因为网速不够,业余时间听歌依然是主流, 真正把主流流行音乐市场抢走的,恰恰就是短视频, 只有让音乐成为短视频大餐的配菜,才能让音乐形态彻底转型,让音乐服务于短视频——流行音乐才会彻底放弃5分钟严肃创作,变成了30秒快餐。 举个例子,你现在再也看不到李荣浩、方大同这种对于一首完整歌曲精雕细琢的新生代歌手了, 当今华语乐坛00后音乐人基本要么民谣,要么当rapper,要么在家自制电音,全部瞄准短平快的抖音流量, 抖音出现之后,除了老牌艺人,其他人根本没机会也不可能找音乐公司发专辑,哪怕一张完整的电子专辑都不可能, 音乐终究要服务于观众,观众的消费范式变了,音乐人必须跟着转变,否则只有死路一条。 这就像香港,电影普及以前,香港地位最高的都是金庸这类作家,等电影电视一普及,下一代艺术家全部投身电影电视剧创作——傻逼才写小说,卖小说。 任何娱乐都不应该也没必要跟传媒形式对抗,传媒即一切,传媒即真理。传媒革命了,你还负隅顽抗,只能死路一条。
论文来了。名字叫 MSA,Memory Sparse Attention。 一句话说清楚它是什么: 让大模型原生拥有超长记忆。不是外挂检索,不是暴力扩窗口,而是把「记忆」直接长进了注意力机制里,端到端训练。 过去的方案为什么不行? RAG 的本质是「开卷考试」。模型自己不记东西,全靠现场翻笔记。翻得准不准要看检索质量,翻得快不快要看数据量。一旦信息分散在几十份文档里、需要跨文档推理,就抓瞎了。 线性注意力和 KV 缓存的本质是「压缩记忆」。记是记了,但越压越糊,长了就丢。 MSA 的思路完全不同: → 不压缩,不外挂,而是让模型学会「挑重点看」 核心是一种可扩展的稀疏注意力架构,复杂度是线性的。记忆量翻 10 倍,计算成本不会指数爆炸。 → 模型知道「这段记忆来自哪、什么时候的」 用了一种叫 document-wise RoPE 的位置编码,让模型天然理解文档边界和时间顺序。 → 碎片化的信息也能串起来推理 Memory Interleaving 机制,让模型能在散落各处的记忆片段之间做多跳推理。不是只找到一条相关记录,而是把线索串成链。 结果呢? · 从 16K 扩到 1 亿 token,精度衰减不到 9% · 4B 参数的 MSA 模型,在长上下文 benchmark 上打赢 235B 级别的顶级 RAG 系统 · 2 张 A800 就能跑 1 亿 token 推理。这不是实验室专属,这是创业公司买得起的成本。 说白了,以前的大模型是一个极度聪明但只有金鱼记忆的天才。MSA 想做的事情是,让它真正「记住」。 我们放 github 上了,算法的同学不容易,可以点颗星星支持一下。🌟👀🙏
很高兴跟大家分享:我已正式加入 LI.​FI,担任 APAC DevRel! 我在 Web3 里花了三年多时间长期在研究一个问题:怎么 Improve UX 让这个行业真正迎来 Mass Adoption? 从 NFT、Meme 币、DAO,到钱包、跨链桥、以太坊协议,从应用层到协议层,我全都看了一遍,也亲自踩了不少坑。目前最大的判断是:制约 Web3 用户体验的两个最关键的基础设施瓶颈,一个是钱包,另一个是 Bridge/Swap(特别是让 DeFi 对企业真正可用的基础设施)。 钱包的重要性大家都知道。但 Bridge/Swap 和 DeFi 编排(Orchestration)看起来被严重低估了。几乎每个 Web3 用户都需要用到,每个人都被坑过——交易失败、路径混乱、手续费高、速度慢、安全问题不断。很多人并不是不想用 Web3 和 Blockchain,只是在这一步就被挡住了。 深入研究之后,我发现了 LI.​FI。 简单来说,LI.​FI 是一个基础设施协议,为数字资产领域提供统一的市场接入点——它是多链世界的流动性连接与编排层。用人话说就是你只需要一个端点或者界面提交你的任意需求,剩下的 LI.​FI 帮你自动完成,你不需要知道跨链、流动性、不同的链特性等等不必要的知识。从 Swap、Bridge、跨链执行,到更上层的能力如 LI.​FI Composer 和 Intents,LI.​FI 正在用技术解决实际用户体验问题,并且已经在服务大量真实客户。 同时还让我兴奋的是背后更大的趋势:用户不应该被链和资产割裂——他们只需要表达意图(Intents),一切就能无缝运转。开发者也不应该一次又一次地自己拼接跨链桥、DEX、DeFi 协议和路由。无论是钱包、DeFi、支付还是 AI Agent,对统一编排基础设施的需求只会越来越大。 正好是这个方向的顶尖玩家! 我接下来会重点在亚太开发者生态中推动 LI.​FI 的认知、采用和集成——尤其是中文社区。我会提供技术支持、开发者活动和生态合作,继续跟社区打成一片。如果你正在做钱包、DeFi 产品、支付应用、套利、Neobank、AI Agent,或者任何需要跨链和链上执行能力的项目,欢迎来找我聊——我可以帮你评估 LI.​FI 是否适合你的场景,并协助你完成集成。 DM open、TG: brucexu_eth、微信:brucexu-eth。中文社区二维码见下方,欢迎感兴趣的朋友加入。