#技术研究

avatar
宝玉
3周前
学好基本功，AI才能真正助你一臂之力 作者：Manda Putra 我最近一直在尝试把AI融入到日常工作中。必须承认，在处理像增删改查（CRUD）、数据解析这类琐碎任务时，AI确实是个神器。你只需要下达指令，它就能帮你搞定，极大地解放了生产力。但软件开发远不止于此，我们还需要整合系统、性能优化、技术研究，这些都需要真正的理解力。 今天在咖啡馆工作时，我旁边坐着一位同行。他也在用AI写代码，这很正常，我也用。但让我忍俊不禁的是，他为了解决一个极其基础的问题，竟然在和AI反复“拉扯”。那个问题是什么呢？仅仅是一个CSS元素的居中，或是一个忘记绑定`onClick`点击事件的低级Bug。 我内心的独白是：“简直可笑，花几分钟学一下CSS的Flexbox布局，不比你这样反复试错问AI快得多吗？” 我当然不会说出口，毕竟萍水相逢，我也不想打击一个年轻工程师的热情。但这情景让我深有感触。AI需要精确的上下文才能给出好答案，你反反复复地对它说“还没居中呢”，其实是在浪费你自己的生命。如果你从不想去理解代码片段之间是如何协同工作的，那你当初又何必选择软件开发这个行业呢？ 这让我想起了乔纳森·布洛（Jonathan Blow）一直在警告的那个观点——我们行业的知识体系，正在从根基处“崩溃”。 布洛的核心忧虑是：现代软件建立在层层叠叠的抽象之上，如今的开发者，尤其是新人，越来越依赖顶层的框架和工具（现在又加上了AI），却对底层原理一窍不通。他们知道“怎样”让东西跑起来，却不知道“为什么”能跑起来。 当整个行业都建立在“知其然，不知所以然”的基础上时，我们创造的系统会变得异常脆弱。就像今天这位小哥，他遇到的只是个CSS问题。但如果未来遇到的一个底层性能瓶颈或安全漏洞呢？当没有人再理解事物的本质时，我们又该如何去修复和创造真正可靠的东西？ 这正是“崩溃”的真实写照——它不是什么末日天启，而是我们作为一个整体，正在逐渐丧失对复杂技术的掌控力。 AI的出现加剧了这种割裂： * 对于经验丰富的开发者，AI是如虎添翼的杠杆，能将他们从重复劳动中解放出来，专注于更复杂的架构和创造。 * 对于新手而言，AI却成了一个“黑箱”或“许愿机”，让他们跳过了最关键的学习和试错过程，沦为只会提问的“提示工程师”，根基愈发不稳。 这是一个多么吊诡的世界。一方面技术在飞速进步，另一方面，从业者的平均基本功却在退化。 真心希望那位小哥能看到这篇文章，并明白，真正的成长，源于求知本身。
#AI #生产力 #基本功 #软件开发 #系统整合 #性能优化 #技术研究
avatar
悉尼閑人
5个月前
DeepSeek，全称杭州深度求索人工智能基础技术研究有限公司，成立于2023年7月17日 ，然而deepseek的数据库却只截止到2023年10月，这是一个多大的笑话，偷东西也要偷全啊！😂
#DeepSeek #人工智能 #数据库 #杭州 #技术研究
avatar
宝玉
5个月前
转：关于 DeepSeek 的研究和思考 (Archerman Capital) 关于这几天很火的 DeepSeek, 我们 (Archerman Capital) 做了一些研究和思考, 和大家分享, enjoy! 灰色部分是技术细节, 不感兴趣的可略过。 几个事实 1) DeepSeek 不是套壳不是蒸馏美国的大模型。 虽然中国有些大模型是套壳和蒸馏的, 但 DeepSeek 不是。 2) 核心架构还是基于 Transformer, deepseek 在架构、工程设计上进行了创新和工艺提升, 实现效率优化。架构上, 采用了混合专家模型 (MoE)、多头潜注意力 (MLA)、多令牌预测 (MTP)、长链式推理 (CoT)、DualPipe 算法等设计, 并进行了依赖强化学习 (RL) 而不加入监督微调 (SFT) 的训练尝试。工程上, 在数据精度 (FP8 混合精度)、底层通信等方面进行了优化。这些方法在学术界都已经有了, Deepseek 没有过于追求新技术, 而是花了心思把这些方法都用上, 解决了一些技术的应用难点, 在理论应用和工程上找到平衡, 具体如下: MoE: Mixture of Experts (混合专家模型)。将模型划分多个专家模块来进行分工。训练中将不同专家模块分配到不同计算设备训练, 提升训练效率。推理时, 仅动态激活部分专家 (37B 参数), 而非全模型参数 (671B 参数), 减少计算负担。但是 MoE 经常会面临某些专家承担所有工作, 其他专家不被使用的问题, 业内会通过一如辅助损失来对此调控、平衡各个专家模块的工作量, 而 deepseek 通过无辅助损失的自然负载均衡 (引入一个无形的手而不是人为调控)、共享专家机制来解决该问题。 MLA: Multi-Head Latent Attention (多头潜注意力)。扩展了传统的多头注意力机制, 引入潜向量 (latent variables), 可以动态调整注意力机制, 捕捉任务中不同的隐含语义。在训练中减少内存和计算开销, 在推理中降低 KV 缓存占用空间。 MTP: Multi-Token Prediction (多令牌预测)。一般 LLM 一次生成 1 个 token, 采用单步预测。deepseek 在特定场景下能同时预测多个 token, 来提高信号密度。一方面能够减少上下文漂移、逻辑更连贯, 也能减少一些重复中间步骤, 在数学、代码和文本摘要场景能提升效率。 CoT: Chain of thought (思维链)。一种训练和推理方法, 将复杂的问题拆分成小步的中间逻辑, 细分逻辑链条。在训练阶段, Deepseek 用标注的 Long CoT 数据微调模型, 让模型生成更清晰的推理步骤, 在强化学习中用 CoT 设计奖励优化, 增强长链推理能力, 并且在此过程中观察到了模型的反思 (回溯推理路径)、多路径推理 (能给出多个解)、aha 时刻 (通过策略突破瓶颈) 等自发行为。 DualPipe (双重流水线): 传统训练信息流水线会产生一些等待时间、有“流水线气泡”, deepseek 设计了一个双重流水线, 让一个计算阶段在等待数据传输时可以切换到另一批数据, 充分利用空闲时间。 R1-Zero: Deepseek 在 V3 基础模型上, 仅通过强化学习 (Reinforcement Learning) 训练, 而不加入 SFT (Supervised fine tuning) 数据, 训练了 R1-Zero 模型, 探索了模型不依赖人类标注数据微调、自主推演的能力, 打开了新的思路。但 R1 模型仍然采取 SFT 数据优化推理和生成质量。 FP8 混合精度训练: 引入了 FP8 混合精度训练框架, 相比传统的 FP16 精度, 数据内存占用更少, 但在一些算子模块、权重中仍然保留了 FP16、FP32 的精度, 节省计算资源。 底层通信优化: 开发了高效的通信内核, 优化对带宽的利用, 保证数据传输效率, 并能支持大规模部署。 拿内燃机和汽车的发明打个比方, 德国人发明了内燃机和汽车, 美国人喜欢 Scaling Law, 排量越大马力越大, 于是从 2 升到 4 升, 甚至 8 升排量的车在美国都很常见, 所以美国肌肉车很耗油。虽然源头技术不是日本发明的, 但日本人擅长把一件事做精, 工程上做很多优化, 日本 2.5 升排量的车甚至可以做到和美国 5 升排量车一样的百公里加速指标。比如轻量化设计把大钢板换成钢条 (类似通过稀疏的办法减少大模型的参数量); 涡轮增压利用废气能量增加空气供给, 提高燃烧效率; 精密制造, 使得发动机零部件的配合更加紧密, 从而减少能量损失; 等等。 3) 有些宣传说 DeepSeek 的训练成本是 550 万美元, 是 Meta 的 1/10, OpenAI 的 1/20, 好像一下子比别人厉害了 10 倍 20 倍, 这有点夸张。 因为现在在美国预训练几千亿参数的一个模型其实也到不到 2000 万美元的成本, DeepSeek 把成本差不多压缩到三分之一。Meta 和 OpenAl 花的钱多是因为前沿探路, 探路就意味着会有浪费, 而后发追赶是站在别人的肩膀上, 是可以避开很多浪费的。另外算力成本在过去几年是指数型下降的, 不能这么机械的比较。打个不恰当的比方, 创新药的研发需要十年几十亿美元, 而仿制药的研发一定会更快更省。另外成本的统计口径也没有统一的标准, 可以有很大的差别。 几个观点: 1) DeepSeek 代表的是整个开源相对闭源的一次胜利, 对社区的贡献会快速转化为整个开源社区的繁荣, 我相信包括 Meta 在内的开源力量, 会在此基础上进一步发展开源模型, 开源就是一个众人拾柴火焰高的事情。 2) OpenAl 这种大力出奇迹的路径暂时看显得有点简单粗暴, 但也不排除到了一定的量又出现了新的质变, 那闭源和开源又将拉开差距, 这也不好说。从 AI 过去 70 年发展的历史经验来看算力至关重要, 未来可能依然是。 3) DeepSeek 让开源模型和闭源模型一样好, 并且效率还更高, 花钱买 OpenAI 的 API 的必要性降低了, 私有部署和自主微调会为下游应用提供更大的发展空间, 未来一两年, 大概率将见证更丰富的推理芯片产品, 更繁荣的 LLM 应用生态。 4) 基础大模型终将 commoditize (商品化), toB 领域看谁能将 LLM 更好和复杂的生产环节衔接好帮客户落地提高生产效率, toC 领域看谁有流量入口, 最终才会获取 AI 产业价值创造中最多的利润。 5) 对算力的需求不会下降, 有个 Jevons 悖论讲的是第一次工业革命期间蒸汽机效率的提高使得市场上煤炭的消耗总量反而增加了。类似从大哥大年代到诺基亚手机普及的年代, 正因为便宜了所以才能普及, 因为普及了所以市场总消费量增加了的。 6) 对数据的需求不会降低, 巧妇难成无米之炊, 没有米怎么做饭, 算法的提高相当于做饭吃饭变得更快, 对数据的渴求会更大。 研究期间, 我们与几位学术界和工业界的专家进行了交流, 由于尚未获得公开提名的许可, 就暂不提及具体姓名了, 但在此特别表达感谢! Archerman Capital™ 是一家美国的成长期股权投资机构, 专注于人工智能、数据基础设施、网络安全等领域的成长期投资。其投资组合包括 Databricks, Scale AI, Tenstorrent 等。该机构采用高度研究驱动和第一性原理的方法。公司总部位于波士顿, 在纽约和硅谷设有投资团队。以上是纯分享, 并非投资建议。
#DeepSeek #Archerman Capital #大模型 #技术研究