#Kimi

长篇技术科普第三篇，关于注意力机制。 上周DeepSeek和Kimi发布了最新研究工作，我们对DeepSeek NSA、Kimi MoBA、MiniMax-01，最近的3篇注意力机制论文逐篇精读。（嘉宾松琳在MIT做注意力机制研究方向）——希望和你一起领略科技平权，感受技术之美，也希望我们能与AI共同进步🤩

一年前，也是在春节期间，OpenAI突然发布了断档领先的视频大模型Sora，给国产AI厂商添了大堵，被调侃为都过不好年了。 一年后的这次临近春节，轮到中国AI厂商给美国竞对们上眼药了，Qwen、DeepSeek、Kimi、Doubao连着发大招，你方唱罢我登场，实在热闹。 因为别人太强而过不好年，和因为自个忙起来根本就没想过好年，是完全不同的两码事。 字节跳动新发布的豆包1.5 Pro，除了

最近牛逼的模型都用到了这个论文提到的类似技术，从kimi k1.5到deepseek r1，到谷歌最新的flash thinking 实验版 01-21。 看来这篇论文要成为AI必读了，Mark下，明天就学。

Minimax的模型我原本以为只是一个就很随大流的模型。但实际测试发现在长文本输出层面有点惊艳。 具体可以下载海螺AI，随便找一篇长的英文论文，让他逐字翻译并输出为Markdown格式。Kimi 会拒绝翻译长论文，但是Minimax的模型可以持续输出很久（实测输出1w tokens还不停）同时还可以输出论文插图。