大模型下的内容 - news.news

暂无通知

#大模型

北美王路飞

4天前

EP-11「工程与达尔文：DeepSeek 引爆新一轮 AI 革命」初码x王路飞 | DeepSeek | 强化学习 | 大模型 | 工程效率 ...

EP-11「工程与达尔文：DeepSeek 引爆新一轮 AI 革命」初码x王路飞 | DeepSeek | 强化学习 | 大模型 | 工程效率 ...

#DeepSeek #AI革命 #强化学习
✧ 𝕀𝔸𝕄𝔸𝕀 ✧

4天前

deepseek就是个纯纯的小可爱，把强化学习这层窗户纸捅穿了，我看他妈的后面怎么买卡，大模型一旦走到强化学习阶段，对算力的需求会炸掉，千亿美金的数据中心只是起步。那些喊着deepseek会减少算力需求的韭菜们发梦天，认为英伟达要崩盘了，他们后面会直接破大防。

deepseek就是个纯纯的小可爱，把强化学习这层窗户纸捅穿了，我看他妈的后面怎么买卡，大模型一旦走到强化学习阶段，对算力的需求会炸掉，千亿美金的数据中心只是起步。那些喊着deepseek会减少算力需求的韭菜们发梦天，认为英伟达要崩盘了，他们后面会直接破大防。

#DeepSeek #强化学习 #算力需求
Jeff Li

6天前

#Jeff科技视角大模型的“蒸馏”：

#Jeff科技视角大模型的“蒸馏”：

#大模型 #蒸馏 #Jeff科技视角
Jeff Li

6天前

李老师讲课，什么是大模型的蒸馏(distillation)，以及我们应该如何看DeepSeek遭遇的“模型蒸馏”指控

李老师讲课，什么是大模型的蒸馏(distillation)，以及我们应该如何看DeepSeek遭遇的“模型蒸馏”指控

#大模型 #蒸馏 #DeepSeek
Panda

1周前

【从DeepSeek到AI行业的四个思考】一、论文推荐：大模型领域的「教科书式」样本今天重读DeepSeek系列论文，印象深刻的其实是24年2月的 DeepSeek-Math ，如果说关于大模型领域你没有太多时间看论文，那单看这篇就够了，蕴含了他们对数据工程、RL的一切思考和实践，而其他论文都像是按部就班的后来之作，solid的工作是今天流量爆炸的基础二、GPU ownership ≠

【从DeepSeek到AI行业的四个思考】一、论文推荐：大模型领域的「教科书式」样本今天重读DeepSeek系列论文，印象深刻的其实是24年2月的 DeepSeek-Math ，如果说关于大模型领域你没有太多时间看论文，那单看这篇就够了，蕴含了他们对数据工程、RL的一切思考和实践，而其他论文都像是按部就班的后来之作，solid的工作是今天流量爆炸的基础二、GPU ownership ≠ GPU utilization，真正的算力霸权，藏在代码而非机房两天前我说“算力短缺是个笑话”其实略显不严谨，更准确的结论是： GPU ownership ≠ GPU utilization 见过几个团队豪掷百万美元训练模型，实际通过数据/算法优化就能将成本压到1-5% 讽刺的是，即便投入如此巨资，效果依然不尽如人意，他们只能搬出“scaling law还未生效”之类的说法向上级/甲方/投资人解释。结合今天DeepSeek的故事，训练优质模型需要千卡不假，但真正的竞争力在于—— 1. 用10张卡做出别人100张卡的效果（技术密度） 2. 用100张卡产出别人1000张卡的成果（工程效率）一个组织的模型创新实力，不在于GPU名义拥有量（GPU ownership），而在于GPU有效产出量（GPU utilization），产出低的组织会一味吹嘘大显卡的故事真正的算力霸权，藏在代码而非机房三、一切问题都是经济问题在技术以外我们能看到一个问题：创新是富人的游戏经济自由之后才可以按自己的想法做事情，靠讲故事拿到过高的估值其实也是一种负担，融资得来的钱并不是自己的钱 DeepSeek团队能专注底层技术，是因为背后站着幻方量化—— 显卡是之前为量化业务囤的，DeepSeek的人员成本可能还不如幻方每年做慈善捐的钱多也几乎没有严肃考虑过商业化的事情，不做营销、不刷榜、把底层技术做solid做到极致，其他的自然就来了。怎么做科技企业，穷人得在金钱上做决定，创新只生在大富之家反观大多数团队： → 用投资人的钱做“共识内创新”（否则无法交代） → 用客户的钱做“可解释性研发”（否则无法续费）我们曾用廉价的AutoDL平台以几十万RMB的极低成本训练30B合成数据的模型，这个路子我一直认为是对的，但最终搁置—— 哪怕我们这样合成出的数据比简单蒸馏OpenAI、Claude好得多，但客户和投资人都会觉得这是简单的左脚踩右脚，不是技术不对，而是：当你的生死取决于外部资金时，创新永远要为生存让路。 ▸ R1-Zero像赤手空拳的野路子天才（纯RL硬刚结果奖励） ▸ R1像受过系统训练的学院派（冷启动数据+RL调优）技术路线的选择自由，本质上是一种财务自由。四、借假修真不如直取真经前辈提起过一个借假修真的话题：“如果你想做A，但你觉得A需要的资源很多，所以你跟外界说你要先做B，那你不如一开始就直接去做A” 若终极目标是A，却因资源不足改做B，本质是自我阉割而真实世界的悖论：越是资源有限，越需要All in真实需求今年试水个人账号，虽然没太大的成绩，但推特也有8k粉了，也算小有感悟：当你的个人账号=公司品牌时—— ▸ 所有观点不再需要包装，粉丝天然就是你公司产品的种子用户 ▸ 账号像一面镜子：经营账号的过程中不断剖析自己的性格底色到底如何，拒绝掉一切和自己调性不符的事情可能做账号的过程就是做真实的自己

#AI #DeepSeek #大模型
九原客

1周前

国内大模型玩家小评：智谱：技术很不错，专攻ToB、ToG，但是新公司想踩透ToB的弯弯绕，得先吃点亏。讯飞：垃圾模型，但是讯飞在国资委很有影响力，应该还能拿单。阿里：Qwen 持续开源领先，ToB 躲在后面让集成商中标干苦力活。腾讯：反正外面没人用，开源了捧个人场。字节：豆包主要还是服务自家 ToC 场景，API 赚不到钱也没什么人用。百度：专心做ToC 场景吧，然后做做ToB的单子

国内大模型玩家小评：智谱：技术很不错，专攻ToB、ToG，但是新公司想踩透ToB的弯弯绕，得先吃点亏。讯飞：垃圾模型，但是讯飞在国资委很有影响力，应该还能拿单。阿里：Qwen 持续开源领先，ToB 躲在后面让集成商中标干苦力活。腾讯：反正外面没人用，开源了捧个人场。字节：豆包主要还是服务自家 ToC 场景，API 赚不到钱也没什么人用。百度：专心做ToC 场景吧，然后做做ToB的单子，闷声不被骂。华为：专心做昇腾生态，卖昇腾服务器，前途广大。 Kimi：被豆包干死。

#智谱 #讯飞 #阿里
利维坦冲浪里

1周前

有没有发现，自从姜萍彻底消失以后，六代机，大模型全出来了，我现在严重怀疑姜萍在某个山洞里面手搓光刻机

有没有发现，自从姜萍彻底消失以后，六代机，大模型全出来了，我现在严重怀疑姜萍在某个山洞里面手搓光刻机

#姜萍 #光刻机 #六代机
orange.ai

1周前

啊，为什么我今天才知道 Cherry Studio 这个项目。。。 - Mac/Win 双端 - 支持给所有的大模型 API 套壳 - 支持知识库、图片、文档 - 开源免费，持续更新简直完美。。。

啊，为什么我今天才知道 Cherry Studio 这个项目。。。 - Mac/Win 双端 - 支持给所有的大模型 API 套壳 - 支持知识库、图片、文档 - 开源免费，持续更新简直完美。。。

#CherryStudio #开源项目 #大模型
墙国蛙蛤蛤🐸

1周前

ChatGPT等外国人工智能语言大模型在追赶国产AI的这方面还有很长的路要走…… #DeepSeek

ChatGPT等外国人工智能语言大模型在追赶国产AI的这方面还有很长的路要走…… #DeepSeek

#ChatGPT #人工智能 #国产AI
Jacobson🌎🌸贴贴BOT

1周前

网友：利用关键词替换来越狱。原来老梁的大模型知道坦克人啊。DeepSeek的显卡痒了😂

网友：利用关键词替换来越狱。原来老梁的大模型知道坦克人啊。DeepSeek的显卡痒了😂

#越狱 #关键词替换 #老梁
星川蘭💙💛爱美TV义务宣传员 ver.🌻📄

1周前

炒作狗在自己领域里炒作炒作就行了，还出来跨学科碰瓷，就这连基本的平仄都一塌糊涂的诗还拿出来现眼，你们的大模型里连放一本《平水韵》的地方都没有吗？

炒作狗在自己领域里炒作炒作就行了，还出来跨学科碰瓷，就这连基本的平仄都一塌糊涂的诗还拿出来现眼，你们的大模型里连放一本《平水韵》的地方都没有吗？

#跨学科碰瓷 #大模型 #平仄
宝玉

1周前

转：关于 DeepSeek 的研究和思考 (Archerman Capital) 关于这几天很火的 DeepSeek, 我们 (Archerman Capital) 做了一些研究和思考, 和大家分享, enjoy! 灰色部分是技术细节, 不感兴趣的可略过。几个事实 1) DeepSeek 不是套壳不是蒸馏美国的大模型。虽然中国有些大模型是套壳和蒸馏的, 但 DeepSeek 不是。 2

转：关于 DeepSeek 的研究和思考 (Archerman Capital) 关于这几天很火的 DeepSeek, 我们 (Archerman Capital) 做了一些研究和思考, 和大家分享, enjoy! 灰色部分是技术细节, 不感兴趣的可略过。几个事实 1) DeepSeek 不是套壳不是蒸馏美国的大模型。虽然中国有些大模型是套壳和蒸馏的, 但 DeepSeek 不是。 2) 核心架构还是基于 Transformer, deepseek 在架构、工程设计上进行了创新和工艺提升, 实现效率优化。架构上, 采用了混合专家模型 (MoE)、多头潜注意力 (MLA)、多令牌预测 (MTP)、长链式推理 (CoT)、DualPipe 算法等设计, 并进行了依赖强化学习 (RL) 而不加入监督微调 (SFT) 的训练尝试。工程上, 在数据精度 (FP8 混合精度)、底层通信等方面进行了优化。这些方法在学术界都已经有了, Deepseek 没有过于追求新技术, 而是花了心思把这些方法都用上, 解决了一些技术的应用难点, 在理论应用和工程上找到平衡, 具体如下: MoE: Mixture of Experts (混合专家模型)。将模型划分多个专家模块来进行分工。训练中将不同专家模块分配到不同计算设备训练, 提升训练效率。推理时, 仅动态激活部分专家 (37B 参数), 而非全模型参数 (671B 参数), 减少计算负担。但是 MoE 经常会面临某些专家承担所有工作, 其他专家不被使用的问题, 业内会通过一如辅助损失来对此调控、平衡各个专家模块的工作量, 而 deepseek 通过无辅助损失的自然负载均衡 (引入一个无形的手而不是人为调控)、共享专家机制来解决该问题。 MLA: Multi-Head Latent Attention (多头潜注意力)。扩展了传统的多头注意力机制, 引入潜向量 (latent variables), 可以动态调整注意力机制, 捕捉任务中不同的隐含语义。在训练中减少内存和计算开销, 在推理中降低 KV 缓存占用空间。 MTP: Multi-Token Prediction (多令牌预测)。一般 LLM 一次生成 1 个 token, 采用单步预测。deepseek 在特定场景下能同时预测多个 token, 来提高信号密度。一方面能够减少上下文漂移、逻辑更连贯, 也能减少一些重复中间步骤, 在数学、代码和文本摘要场景能提升效率。 CoT: Chain of thought (思维链)。一种训练和推理方法, 将复杂的问题拆分成小步的中间逻辑, 细分逻辑链条。在训练阶段, Deepseek 用标注的 Long CoT 数据微调模型, 让模型生成更清晰的推理步骤, 在强化学习中用 CoT 设计奖励优化, 增强长链推理能力, 并且在此过程中观察到了模型的反思 (回溯推理路径)、多路径推理 (能给出多个解)、aha 时刻 (通过策略突破瓶颈) 等自发行为。 DualPipe (双重流水线): 传统训练信息流水线会产生一些等待时间、有“流水线气泡”, deepseek 设计了一个双重流水线, 让一个计算阶段在等待数据传输时可以切换到另一批数据, 充分利用空闲时间。 R1-Zero: Deepseek 在 V3 基础模型上, 仅通过强化学习 (Reinforcement Learning) 训练, 而不加入 SFT (Supervised fine tuning) 数据, 训练了 R1-Zero 模型, 探索了模型不依赖人类标注数据微调、自主推演的能力, 打开了新的思路。但 R1 模型仍然采取 SFT 数据优化推理和生成质量。 FP8 混合精度训练: 引入了 FP8 混合精度训练框架, 相比传统的 FP16 精度, 数据内存占用更少, 但在一些算子模块、权重中仍然保留了 FP16、FP32 的精度, 节省计算资源。底层通信优化: 开发了高效的通信内核, 优化对带宽的利用, 保证数据传输效率, 并能支持大规模部署。拿内燃机和汽车的发明打个比方, 德国人发明了内燃机和汽车, 美国人喜欢 Scaling Law, 排量越大马力越大, 于是从 2 升到 4 升, 甚至 8 升排量的车在美国都很常见, 所以美国肌肉车很耗油。虽然源头技术不是日本发明的, 但日本人擅长把一件事做精, 工程上做很多优化, 日本 2.5 升排量的车甚至可以做到和美国 5 升排量车一样的百公里加速指标。比如轻量化设计把大钢板换成钢条 (类似通过稀疏的办法减少大模型的参数量); 涡轮增压利用废气能量增加空气供给, 提高燃烧效率; 精密制造, 使得发动机零部件的配合更加紧密, 从而减少能量损失; 等等。 3) 有些宣传说 DeepSeek 的训练成本是 550 万美元, 是 Meta 的 1/10, OpenAI 的 1/20, 好像一下子比别人厉害了 10 倍 20 倍, 这有点夸张。因为现在在美国预训练几千亿参数的一个模型其实也到不到 2000 万美元的成本, DeepSeek 把成本差不多压缩到三分之一。Meta 和 OpenAl 花的钱多是因为前沿探路, 探路就意味着会有浪费, 而后发追赶是站在别人的肩膀上, 是可以避开很多浪费的。另外算力成本在过去几年是指数型下降的, 不能这么机械的比较。打个不恰当的比方, 创新药的研发需要十年几十亿美元, 而仿制药的研发一定会更快更省。另外成本的统计口径也没有统一的标准, 可以有很大的差别。几个观点: 1) DeepSeek 代表的是整个开源相对闭源的一次胜利, 对社区的贡献会快速转化为整个开源社区的繁荣, 我相信包括 Meta 在内的开源力量, 会在此基础上进一步发展开源模型, 开源就是一个众人拾柴火焰高的事情。 2) OpenAl 这种大力出奇迹的路径暂时看显得有点简单粗暴, 但也不排除到了一定的量又出现了新的质变, 那闭源和开源又将拉开差距, 这也不好说。从 AI 过去 70 年发展的历史经验来看算力至关重要, 未来可能依然是。 3) DeepSeek 让开源模型和闭源模型一样好, 并且效率还更高, 花钱买 OpenAI 的 API 的必要性降低了, 私有部署和自主微调会为下游应用提供更大的发展空间, 未来一两年, 大概率将见证更丰富的推理芯片产品, 更繁荣的 LLM 应用生态。 4) 基础大模型终将 commoditize (商品化), toB 领域看谁能将 LLM 更好和复杂的生产环节衔接好帮客户落地提高生产效率, toC 领域看谁有流量入口, 最终才会获取 AI 产业价值创造中最多的利润。 5) 对算力的需求不会下降, 有个 Jevons 悖论讲的是第一次工业革命期间蒸汽机效率的提高使得市场上煤炭的消耗总量反而增加了。类似从大哥大年代到诺基亚手机普及的年代, 正因为便宜了所以才能普及, 因为普及了所以市场总消费量增加了的。 6) 对数据的需求不会降低, 巧妇难成无米之炊, 没有米怎么做饭, 算法的提高相当于做饭吃饭变得更快, 对数据的渴求会更大。研究期间, 我们与几位学术界和工业界的专家进行了交流, 由于尚未获得公开提名的许可, 就暂不提及具体姓名了, 但在此特别表达感谢! Archerman Capital™ 是一家美国的成长期股权投资机构, 专注于人工智能、数据基础设施、网络安全等领域的成长期投资。其投资组合包括 Databricks, Scale AI, Tenstorrent 等。该机构采用高度研究驱动和第一性原理的方法。公司总部位于波士顿, 在纽约和硅谷设有投资团队。以上是纯分享, 并非投资建议。

#DeepSeek #Archerman Capital #大模型
川沐｜Trumoo🐮

1周前

ai创业从deepseek开始变得每个人都可以干. 在此之前普通人眼里搞个大模型高昂的成本都是大公司才能干的事情，普通人只能被迫打工，ai机会被大公司垄断. 现在10万块钱就能在家跑个大模型自己手搓ai创业.人人都可以了，不是大公司的专属. 用朋友的话说这是相当于计算机变pc的时候进入千家万户. ai的未来更加具有想象力，会有无数有梦想的普通人也能参与到ai创新里面，制造出各种稀奇古怪有趣的东西

ai创业从deepseek开始变得每个人都可以干. 在此之前普通人眼里搞个大模型高昂的成本都是大公司才能干的事情，普通人只能被迫打工，ai机会被大公司垄断. 现在10万块钱就能在家跑个大模型自己手搓ai创业.人人都可以了，不是大公司的专属. 用朋友的话说这是相当于计算机变pc的时候进入千家万户. ai的未来更加具有想象力，会有无数有梦想的普通人也能参与到ai创新里面，制造出各种稀奇古怪有趣的东西…..

#AI创业 #大模型 #个人创新
karminski-牙医

1周前

速报，寄了嗷，NVIDIA Project Digits 内存带宽只有 275GB/s. 意味着跑 70B-int4 速度只能到 6.8 token/s. 如果跑 DeepSeek-R1-Distill-Qwen-32B-Q5_K_M, 大概是 12.5 token/s. 就是个更便宜的 MacMini M4 Pro。如果信了老黄的说法，用这个跑200B的大模型，一分钟也就能吐出来2句话。

速报，寄了嗷，NVIDIA Project Digits 内存带宽只有 275GB/s. 意味着跑 70B-int4 速度只能到 6.8 token/s. 如果跑 DeepSeek-R1-Distill-Qwen-32B-Q5_K_M, 大概是 12.5 token/s. 就是个更便宜的 MacMini M4 Pro。如果信了老黄的说法，用这个跑200B的大模型，一分钟也就能吐出来2句话。

#NVIDIA #内存带宽 #Project DIGITS
Leo Xiang

1周前

在Deepseek R1 之前，OpenAI 的O1还是领先中国的大模型厂商一代，R1出来之后已经不存在代际差了。 OpenAI如何说服大家购买他的200$ 每月的Pro？

在Deepseek R1 之前，OpenAI 的O1还是领先中国的大模型厂商一代，R1出来之后已经不存在代际差了。 OpenAI如何说服大家购买他的200$ 每月的Pro？

#DeepSeek R1 #OpenAI #大模型
阑夕

1周前

Kimi和DeepSeek的新模型这几天内同时发布，又是一波让人看不懂的突飞猛进，硅谷的反应也很有意思，已经不再是惊讶「他们是怎么办到的」，而是变成了「他们是怎么能这么快的」，就快走完了质疑、理解、成为的三段论。先说背景。大模型在运作上可用粗略分为训练和推理两大部分，在去年9月之前，训练的质量一直被视为重中之重，也就是通过所谓的算力堆叠，搭建万卡集群甚至十万卡集群来让大模型充分学习人类语料，

Kimi和DeepSeek的新模型这几天内同时发布，又是一波让人看不懂的突飞猛进，硅谷的反应也很有意思，已经不再是惊讶「他们是怎么办到的」，而是变成了「他们是怎么能这么快的」，就快走完了质疑、理解、成为的三段论。先说背景。大模型在运作上可用粗略分为训练和推理两大部分，在去年9月之前，训练的质量一直被视为重中之重，也就是通过所谓的算力堆叠，搭建万卡集群甚至十万卡集群来让大模型充分学习人类语料，去解决智能的进化。为什么去年9月是个关键的转折点呢？因为OpenAI发布了GPT-o1，以思维链（Chain-of-Thought）的方式大幅提高了模型能力。在那之前，行业里其实都在等GPT-5，以为一年以来传得沸沸扬扬的Q*就是GPT-5，对o1这条路线的准备严重不足，但这也不是说o1不能打，它的强大是在另一个层面，如果说训练能让AI变得更聪明，那么推理就会让AI变得更有用。从o1到o3，OpenAI的方向都很明确，就是变着法儿奔向AGI，一招不行就换另一招，永远都有对策，大家平时对于OpenAI的调侃和批评很多，但那都是建立在高预期的前提下，真不要以为OpenAI没后劲了，事实上每次都还是它在推动最前沿的技术创新，踩出一条小径后别人才敢放心大胆的跟上去。 AI大厂们一直不太承认训练撞墙的问题，这涉及到扩展法则（Scaling Law）——只要有更多的数据和算力，大模型就能持续进步——有没有失效的问题，因为可被训练的全网数据早就被抓取殆尽了，没有新的知识增量，大模型的智能也就面临着无源之水的困局。于是从训练到推理的重点转移，成了差不多半年以来最新的行业共识，推理采用的技术是强化学习（RL），让模型学会评估自己的预测并持续改进，这不是新东西，AlphaGo和GPT-4都是强化学习的受益者，但o1的思维链又把强化学习的效果往前推进了一大步，实现了用推理时间换推理质量的正比飞跃。给AI越充分的思考时间，AI就能越缜密的输出答案，是不是有点像新的扩展法则？只不过这个扩展在于推理而非训练阶段。理解了上述背景，才能理解Kimi和DeepSeek在做的事情有什么价值。 DeepSeek一直是「扮猪吃老虎」的角色，不但是价格战的发起者，600万美元训练出GPT-4o级模型的测试结果，更是让它一战成名，而Kimi正好相反，它的产品能力很强，有用户，甚至还为行业贡献了足够的融资八卦，但在科研方面，除了都知道杨植麟是个牛逼的人之外，其实还是不太被看到。这次就不一样了，DeepSeek不再是一枝独秀，Kimi也把肌肉秀到了人家脸上，Kimi k1.5满血版在6项主流基准测试里和o1同台竞赛，拿到了3胜1平2负的结果，已经完全称得上是平起平坐了。（1/2）

#Kimi #DeepSeek #新模型
向阳乔木

2周前

想象未来，回忆过去，都是大脑模拟。我们并不真的记得事件，像大模型，每次都是预测生成一些相关信息。

想象未来，回忆过去，都是大脑模拟。我们并不真的记得事件，像大模型，每次都是预测生成一些相关信息。

#大脑模拟 #记忆 #未来
Yachen Liu

2周前

小红书新上的翻译功能是用大模型做的，于是大家开始在内容中用 prompt 操纵翻译结果玩梗。新时代 SQL 的注入。

小红书新上的翻译功能是用大模型做的，于是大家开始在内容中用 prompt 操纵翻译结果玩梗。新时代 SQL 的注入。

#小红书 #翻译功能 #大模型
宝玉

3周前

问：写提示词的时候角色设定还需要吗？如果想让大模型完成特定任务的时候答：角色设定是否重要看模型看场景。模型在GPT-4o以下依然重要；对于需要角色扮演的场景需要设定角色，比如扮演心理医生、赛博女友等；扮演可以让AI快速理解任务的场景，更好的输出内容，比如让 AI 扮演苏格拉底导师、英语老师等；其他情况一般不需要设定角色。

问：写提示词的时候角色设定还需要吗？如果想让大模型完成特定任务的时候答：角色设定是否重要看模型看场景。模型在GPT-4o以下依然重要；对于需要角色扮演的场景需要设定角色，比如扮演心理医生、赛博女友等；扮演可以让AI快速理解任务的场景，更好的输出内容，比如让 AI 扮演苏格拉底导师、英语老师等；其他情况一般不需要设定角色。

#角色设定 #大模型 #GPT-4
Panda

4周前

预训练23年底就死了，只是这两个月才埋微调24年q1也死了，只是还没有被埋更是发现有些名词从前沿传到创投圈就被异化了词义：大模型做teacher model教作为student的小模型，有人把这个过程叫做蒸馏，是完全错误的 teacher student的模型范式和蒸馏没关系蒸馏也不是简单的做数据再训练 weak to strong learning才是核心

预训练23年底就死了，只是这两个月才埋微调24年q1也死了，只是还没有被埋更是发现有些名词从前沿传到创投圈就被异化了词义：大模型做teacher model教作为student的小模型，有人把这个过程叫做蒸馏，是完全错误的 teacher student的模型范式和蒸馏没关系蒸馏也不是简单的做数据再训练 weak to strong learning才是核心

#预训练 #微调 #大模型
图拉鼎

4周前

看了看 NVIDIA Project DIGITS，Blackwell GPU，20 核 Grace CPU，预装 128GB 内存，可以跑 2000 亿参数的大模型…售价 3000 美元起。啊，这才是 AI 时代的随身机器，种草了！

看了看 NVIDIA Project DIGITS，Blackwell GPU，20 核 Grace CPU，预装 128GB 内存，可以跑 2000 亿参数的大模型…售价 3000 美元起。啊，这才是 AI 时代的随身机器，种草了！

#NVIDIA #Project DIGITS #Blackwell GPU
响马

4周前

大模型预训练 2023 年底就走到瓶颈了，去年一直在压缩。

大模型预训练 2023 年底就走到瓶颈了，去年一直在压缩。

#大模型 #预训练 #瓶颈
orange.ai

4周前

网传阿里洽谈收购零一万物的预训练团队。大模型公司不做预训练其实真的没什么。预训练的ROI这么低，钱花在哪里不好呢？

网传阿里洽谈收购零一万物的预训练团队。大模型公司不做预训练其实真的没什么。预训练的ROI这么低，钱花在哪里不好呢？

#阿里巴巴 #收购 #零一万物
Michael Anti

4周前

我觉得不必讨论AGI什么时候到来以及什么是AGI。自从ChatGPT诞生后，就可以发现人脑和大模型之间的高度类比、甚至相似性。无论是把LLM当成一个刚毕业的实习生，还是把人类教学当成LLM知识蒸馏训练，实际上大家已经把人脑和AI放在一个层次上讨论了，有意义的问题是AI时代，人脑如何和AI结合，迅速进化。

我觉得不必讨论AGI什么时候到来以及什么是AGI。自从ChatGPT诞生后，就可以发现人脑和大模型之间的高度类比、甚至相似性。无论是把LLM当成一个刚毕业的实习生，还是把人类教学当成LLM知识蒸馏训练，实际上大家已经把人脑和AI放在一个层次上讨论了，有意义的问题是AI时代，人脑如何和AI结合，迅速进化。

#AGI #ChatGPT #人脑与AI结合
Michael Anti

4周前

我觉得不必讨论AGI什么时候到来以及什么是AGI。自从ChatGPT诞生后，就可以发现人脑和大模型之间的高度类比、甚至相似性。无论是把LLM当成一个刚毕业的实习生，还是把人类教学当成LLM知识蒸馏训练，实际上大家意见把人脑和AI放在一个层次上讨论了，有意义的问题是AI时代，人脑如何和AI结合，迅速进化。

我觉得不必讨论AGI什么时候到来以及什么是AGI。自从ChatGPT诞生后，就可以发现人脑和大模型之间的高度类比、甚至相似性。无论是把LLM当成一个刚毕业的实习生，还是把人类教学当成LLM知识蒸馏训练，实际上大家意见把人脑和AI放在一个层次上讨论了，有意义的问题是AI时代，人脑如何和AI结合，迅速进化。

#AGI #ChatGPT #人脑与AI结合