#Kimi

張小珺 Xiaojùn

4个月前

长篇技术科普第三篇，关于注意力机制。上周DeepSeek和Kimi发布了最新研究工作，我们对DeepSeek NSA、Kimi MoBA、MiniMax-01，最近的3篇注意力机制论文逐篇精读。（嘉宾松琳在MIT做注意力机制研究方向）——希望和你一起领略科技平权，感受技术之美，也希望我们能与AI共同进步🤩

#技术科普 #注意力机制 #AI #DeepSeek #Kimi #科技平权

阑夕

5个月前

一年前，也是在春节期间，OpenAI突然发布了断档领先的视频大模型Sora，给国产AI厂商添了大堵，被调侃为都过不好年了。一年后的这次临近春节，轮到中国AI厂商给美国竞对们上眼药了，Qwen、DeepSeek、Kimi、Doubao连着发大招，你方唱罢我登场，实在热闹。因为别人太强而过不好年，和因为自个忙起来根本就没想过好年，是完全不同的两码事。字节跳动新发布的豆包1.5 Pro，除了在基准测试里表现抢眼之外，还特意强调了两个点： - 基于豆包产品的大规模用户反馈，实现了以用户数据飞轮持续提升模型能力的优化系统； - 模型训练过程中，未使用任何其他模型生成的数据，坚持不走捷径，确保数据来源的独立性和可靠性。这两个点，很容易联想到最近的两件事：前一个是MiniMax的创始人在接受采访时提出的反共识，认为用户越多并不能推动模型越强；后一个则是中科院、北大等六家机构发了篇学术论文，用两种方法验证了Claude、Gemini和豆包没有蒸馏其他模型，DeepSeeek的蒸馏程度则比较高。豆包的意思是，用户数据飞轮对大模型仍然有价值，推翻了它，就意味着否认用户市场和技术发展之间的关系，大家也都没必要追求MAU/DAU了，以及用先进模型去教出一个学生模型出来，并不能让学生真正变得比老师更加聪明。 Sam Altman早些时候也发过一条意有所指的隐晦推文：「复制你知道行得通的东西是（相对）容易的。当你不知道它是否行得通时，做一些新的、有风险的、困难的事情是非常困难的。」严格来说，豆包的表态更像是在输出一种自我要求的标准，而没有太多的diss成分，中国需要DeepSeek这样的公司用最快速和低成本的方法推动AI技术开放，也需要字节这样的大厂用更重的投入、走更难的路去挑战更高目标。这种并无计划的错位搭配，正是国产科技行业擅长的饱和式路线，资源受限的公司，可以拿出性价比最优的方案，突出一个物超所值，资源充裕的公司，也确实有资格不抄近道，做好和模型预研、实验、训练共同生长的数据基建。豆包这次的亮点在于，即使没有采用能快速复制海外先进模型能力的蒸馏方法，而是老老实实的自建庞大的人工标注团队和数据生产体系，依然能把模型效果做到GPT-4o的水平，也充分发挥了中国团队的工程优化能力来降低推理成本，而且无论是DeepSeek还是豆包在谈及定价策略时，都曾很是无辜的表示并没有挑起价格战的意图，自己是有利润的，成本结构完全可以实现。与此同时，Musk和Altman还在为「星际之门」项目到底有没有5000亿美金能够到账而吵个不休⋯⋯ 当然OpenAI依然值得尊重，只是在行业整体都在大幅前进的情况下，有多少是站在巨人的肩膀上，又有多少正在成为新的巨人，这是很有讨论价值的，也是在开启一个波澜壮阔的硅基时代前，不可缺少的仪式性帷幕。科技公司通常会凸显研发支出占总收入的比重，视其为愿意在多大程度上投入核心竞争力的决心，以后倒可能会有一个类似的新指标出来，那就是对AI的支出占总支出的比重，这代表公司愿意在未来上押注多少现金流。这是字节跳动最有力量的标志，从收入体量来看，它是全球级的互联网大厂，不但有着管够的弹药，而且可以自给自足，不必过于依赖外部输血，去年在AI设施上花的钱几乎相当于BAT之和，在投入和产出两个方面都成了国内断崖领先的榜一。另一方面，豆包的发展也带有很强的商业逻辑，无论是它对大模型调用经济性的重视，还是带着火山剪映等兄弟业务协同发展，甚至包括衔接上下游产业链去做更多样化的的产品，都相当务实。有的时候也会感慨，这种务实在需要喊口号时，也很难一下子变得浪漫化，尤其是在英文圈里言必称AGI、各种科幻梗层出不穷的背景下，再去看字节跳动为AGI团队Seed Edge设立的五大目标，只能说真的很理工化，没有半分虚的： - 探索推理能力的边界，用更先进的推理带动智能的提升； - 探索感知能力的边界，不止是语言模型，还要建立世界模型； - 探索软硬一体的下一代模型设计，用模型的需求反过来为硬件设计指路； - 探索下一代学习范式，既要挑战现在的共识，还得提出新的改进空间； - 探索下一个Scaling方向，推动智能边界的进步。就，很具体明晰，很就事论事，有没有？根本不存在那种金句或者机锋，每一个字每一句话都是在精确的传达给字节跳动想要招揽的科学家和工程师，唯一画的大饼，就是承诺Seed Edge将会独立制定考核方式，充分提供前沿研究的工作环境。也只有字节跳动来做这样的事情，是最合适的了。张一鸣早年发过一条微博，说在遇到技术问题时，公司花了两天时间集中排查，终于得到解决，而这个过程让他感到愉悦：「想起稻盛和夫说的：用尽全力，异常认真，神明就会来相助。其实神明未必相助，但是你会更接近问题的本质，从而解决问题。」我想说的是，从今日头条，到抖音，再到豆包，其实都是这个过程的复现。

#OpenAI #视频大模型Sora #国产AI厂商 #Qwen #DeepSeek #Kimi #Doubao #字节跳动 #豆包1.5 Pro #美国竞对

向阳乔木

5个月前

最近牛逼的模型都用到了这个论文提到的类似技术，从kimi k1.5到deepseek r1，到谷歌最新的flash thinking 实验版 01-21。看来这篇论文要成为AI必读了，Mark下，明天就学。

#AI技术 #Kimi #DeepSeek #谷歌 #flash thinking #AI论文

阑夕

5个月前

Kimi和DeepSeek的新模型这几天内同时发布，又是一波让人看不懂的突飞猛进，硅谷的反应也很有意思，已经不再是惊讶「他们是怎么办到的」，而是变成了「他们是怎么能这么快的」，就快走完了质疑、理解、成为的三段论。先说背景。大模型在运作上可用粗略分为训练和推理两大部分，在去年9月之前，训练的质量一直被视为重中之重，也就是通过所谓的算力堆叠，搭建万卡集群甚至十万卡集群来让大模型充分学习人类语料，去解决智能的进化。为什么去年9月是个关键的转折点呢？因为OpenAI发布了GPT-o1，以思维链（Chain-of-Thought）的方式大幅提高了模型能力。在那之前，行业里其实都在等GPT-5，以为一年以来传得沸沸扬扬的Q*就是GPT-5，对o1这条路线的准备严重不足，但这也不是说o1不能打，它的强大是在另一个层面，如果说训练能让AI变得更聪明，那么推理就会让AI变得更有用。从o1到o3，OpenAI的方向都很明确，就是变着法儿奔向AGI，一招不行就换另一招，永远都有对策，大家平时对于OpenAI的调侃和批评很多，但那都是建立在高预期的前提下，真不要以为OpenAI没后劲了，事实上每次都还是它在推动最前沿的技术创新，踩出一条小径后别人才敢放心大胆的跟上去。 AI大厂们一直不太承认训练撞墙的问题，这涉及到扩展法则（Scaling Law）——只要有更多的数据和算力，大模型就能持续进步——有没有失效的问题，因为可被训练的全网数据早就被抓取殆尽了，没有新的知识增量，大模型的智能也就面临着无源之水的困局。于是从训练到推理的重点转移，成了差不多半年以来最新的行业共识，推理采用的技术是强化学习（RL），让模型学会评估自己的预测并持续改进，这不是新东西，AlphaGo和GPT-4都是强化学习的受益者，但o1的思维链又把强化学习的效果往前推进了一大步，实现了用推理时间换推理质量的正比飞跃。给AI越充分的思考时间，AI就能越缜密的输出答案，是不是有点像新的扩展法则？只不过这个扩展在于推理而非训练阶段。理解了上述背景，才能理解Kimi和DeepSeek在做的事情有什么价值。 DeepSeek一直是「扮猪吃老虎」的角色，不但是价格战的发起者，600万美元训练出GPT-4o级模型的测试结果，更是让它一战成名，而Kimi正好相反，它的产品能力很强，有用户，甚至还为行业贡献了足够的融资八卦，但在科研方面，除了都知道杨植麟是个牛逼的人之外，其实还是不太被看到。这次就不一样了，DeepSeek不再是一枝独秀，Kimi也把肌肉秀到了人家脸上，Kimi k1.5满血版在6项主流基准测试里和o1同台竞赛，拿到了3胜1平2负的结果，已经完全称得上是平起平坐了。（1/2）

#Kimi #DeepSeek #新模型 #硅谷 #人工智能 #训练 #推理 #大模型 #快速发展

九原客

5个月前

Minimax的模型我原本以为只是一个就很随大流的模型。但实际测试发现在长文本输出层面有点惊艳。具体可以下载海螺AI，随便找一篇长的英文论文，让他逐字翻译并输出为Markdown格式。Kimi 会拒绝翻译长论文，但是Minimax的模型可以持续输出很久（实测输出1w tokens还不停）同时还可以输出论文插图。

#Minimax模型 #长文本输出 #海螺AI #论文翻译 #Kimi

Andy Stewart

6个月前

DeepSeek好强哇，互联网搜索功能准确，而且快速，一点都不差 poe 和 kimi 啊。

#DeepSeek #搜索功能 #互联网 #Poe #Kimi