Colin Wu
3个月前
记得之前有个很胖的朋友,重度脂肪肝,每天骑自行车上班后,竟然重度脂肪肝也消失了。GPT 研究了下,还挺有趣: 肝脏被称为人体唯一真正能再生的器官,是进化上极其巧妙的设计。 肝脏的主要细胞叫肝细胞(hepatocytes)。它们跟其他器官的细胞最大的不同是可以重新进入细胞周期分裂。绝大多数人体细胞(比如心肌细胞、神经元)一旦成熟就“退出分裂”,只能靠存量维持。但肝细胞不一样,它们像是被“设定”为永远保留复制权限。 实验表明,哪怕切除掉 2/3 的肝脏,只要剩下 1/3,肝细胞就能在 2~3周内长回原来的体积。 为什么肝脏需要这种能力?这和它的“工作性质”有关。肝脏是身体的“化工厂”和“污水处理厂”:每天处理上千种代谢产物;因此它天生就暴露在“毒性风险”中,如果没有再生能力,人类可能早在史前就被环境毒素淘汰了。换句话说:肝脏的再生能力是进化赋予它的自我保护机制。 科学上已经发现肝脏至少有三种“再生模式”:经典再生,切除或急性损伤,成熟肝细胞直接分裂。干细胞样再生。严重慢性损伤,胆管细胞或干细胞分化成肝细胞。代偿性肥大,轻度损伤,细胞体积增大,功能增强。哪怕受伤方式不同,肝脏总能找到一条“重生之路”。 虽然肝脏能再生,但前提是:损伤不超过某个限度;没有持续毒性刺激(比如长期喝酒、药物、脂肪肝);纤维化还没形成大量疤痕。一旦发展到肝硬化阶段,健康肝细胞数量太少、再生空间被疤痕组织占满,再生机制也“失效”了。 其实,大多数哺乳动物的肝脏都有强大的再生能力。这是一个在进化上被“保留下来”的共性。小鼠、兔子、狗、猴子:做过经典的“部分肝切除实验”,去掉 2/3 的肝,剩余肝组织几周内恢复体积;鱼类和两栖类动物:某些甚至能“完全重生”肝叶;说明肝再生是哺乳动物普遍存在的防御机制, 因为这种机制,早期发现肝病治愈率极高,肝病几乎都是“早期可逆,晚期不可逆”。脂肪肝是“最可逆的肝病”,早期干预几乎 100% 可恢复。 肝硬化、肝癌 ≈ 早期没干预的结果,正常肝 → 脂肪肝 → 炎症 → 纤维化 → 硬化 → 癌变。
ginobefun
3个月前
记录下这篇文章的阅读笔记,关于 MiniMax 和 Kimi 在大模型注意力机制上的不同技术路线选择。 1. MiniMax 选的:全注意力 (Full Attention) 这是一种蛮力但最扎实的办法。 它就像一个记忆力超群、但也最耗费精力的学生。当他读到小说第 500 页的某一个词时,为了彻底理解这个词,他会把这个词,和前面 499 页的每一个词,都重新对比一遍。 优点: 绝对的全面。他绝不会漏掉任何一丝线索,理解的质量是最高的。 缺点: 成本高到爆炸。文章越长,这种回头看的对比次数就呈指数级飙升。这会吃掉海量的内存和计算时间。 MiniMax 的选择是:我们先用这种最好的蛮力办法,一边等待未来的硬件变得足够便宜,来解决成本问题。 2. Kimi 选的:混合注意力 (Kimi Linear) 这是一种更聪明、更像人类的巧办法。 Kimi 知道蛮力在读长文时是行不通的。它就像一个更有效率的学霸,采用了 3:1 的混合阅读模式: 在 3/4 的时间用一种「线性接力」的方式阅读。 当它读到第 500 页的某个词时,它不会回头去看 499 页的全部内容,而是只看第 499 页最后传过来的那个摘要。它在摘要上补充新信息,再传给下一页。这就像我们正常读书,只需要记住一个不断更新的上下文概要。这非常快,而且极度节省内存。 在 1/4 的时间里处理纠错,它也怕阅读摘要传久了,会忘掉第 1 页的细节。 所以每隔 3 层接力后,它就停一下,用一种压缩过的「全局眼光」快速扫一眼全文的内容大纲,确保自己对整本书的理解没有跑偏。 核心差别 MiniMax 全注意力是用蛮力换质量。它赌的是未来硬件会进步,能撑得起这种巨大的消耗。 Kimi Linear 是用巧劲换效率。它用一种 3:1 的混合架构,在大部分时间跑得飞快,再用小部分时间回头看大局。 Kimi 的突破还在于,它证明了这套巧劲,现在就能用低 75% 的内存和快 6 倍的速度,达到甚至超过了蛮力办法的效果。