fin

统计数据

6
文章
0
粉丝
0
获赞
6
阅读
avatar
fin
3天前
AI时代和互联网时代的运行逻辑和模式有什么不一样？ 最近一直在思考这个问题，也在尝试从时间线拉长的角度去看一看 两年前的GTX大会，老黄po出来的这张图宣布了时代大幕的拉开，PC时代->互联网时代->AI时代，每一个时代前期的硬件大基建时代开始了，可能又是一次cisco时代涨潮退潮的故事重现 cisco时代基建一旦搭好，后续基建需求就减小太多了，相当于管道搭好了，互联网公司在管道上面搭各种各样的应用(即便是infra要扩容)，大都是一次性的建设费用，之后的折旧周期也很长，cisco于是在短暂的互联网时代前期爆发之后迅速成了弃儿，如果2000年买入那么直到2021年才回本，大幅跑输SP500 移动互联网也是一样，手机SoC的基建一旦搭起来，每年能卖出去的手机量基本上是固定的，所以高通成了过去十多年来半导体领域最具有illusion的差劲投资，移动互联网经济的繁荣没有给高通带来多少增量，底层基建只有基本的手机例行换代升级更新 但两年后现在回过头来看，AI时代也许无法直接套用之前的经验。逻辑是不一样的，training训练基建并不是一次性的，日常使用的费用远远超过互联网时代，GPU的超负荷使用导致其寿命两三年就要换新，而且价格及其昂贵。 为什么Meta用人均上亿美元签字费的代价挖来那么多顶尖AI人才来做基础模型？是不是冤大头？ 从Meta的infra高成本来看是有道理的，因为Meta在GPU基建上的投入一年70B而且还一直在增长，甚至要亲自下场去做GW级别的数据中心，那么投入3~5B去招募一群世界上最懂的人去用好一年70B的顶级奢侈品GPU data center，就显得是非常必要的了，三五十亿美元招募费相比而言甚至是非常划算的事情 在Google/OpenAI，Compute-per-Researcher已经是重要管理KPI，Meta花了几亿买人，说对应的算力必须要匹配齐全，这个说法反过来就能理解Meta高价挖人的初衷：每年花近千亿买GPU，对应的技术人才必须要匹配到位 在大厂做fundation Model training的这部分人(特别是pretraining)和SDE不一样，甚至和十年前才产生的新工种MLE也不一样，已经是一个完完全全由这个时代产生的新工种了：算力花销收益率管理人，没有千卡集群的训练经验，都达不到能进行业的门槛 人类历史上第一次产生了一种，由少数几十上百个人去操作每年花销相当于一个国家GDP(100B级别=克罗地亚/哥斯达黎加)的机器大军的新工种 在互联网时代，Google，Amazon，Facebook都是不需要在基建上承担太多压力的，只需要等互联网基建慢慢成熟，他们就能借助这个网络建立一个信息流通的商业模式，每次请求的网络和算力成本，也是边际成本极低，造成了scaling的效果极好，分发边际成本几乎为零，快速扩张的收益惊人，扩张越快收益平方上升 ------ 这个特质也造成了一个现象：互联网企业的最大OPEX成本都是SDE人工成本，这就是典型的第三产业服务产业的特征，这也是SDE过去十五年黄金时代可以随着业务不停扩张而薪资水涨船高的重要原因 互联网时代的稀缺资源是软件工程师的工作时间，财报的重头是OPEX工资，护城河是网络规模效应和无限复制接近零的分发成本，Google/FB也自建数据中心，但CAPEX在10%左右 而LLM时代，起码是这几年，互联网公司主导稀缺资源已经是GPU+供电容量(GW级别)，财报的重头是CAPEX（MSFT CAPEX 比例33%，Meta 甚至已经快到40%了），GPU已经毫无疑问是重资产，重消耗 互联网公司历史上第一次像半导体厂foundry那样背上高折旧成本的资产负债表，商业模型恨不得要慢慢从“流量 × 转化率”部分转向“每 token 毛利”了 第三产业和第二产业的重要差别就在于需要管理重资产和持续的运营成本，互联网厂商性质会从第三产业变成“第二产业化”，打工人作为asset的价值就不会那么的宝贵，SDE溢价无上限的黄金年代可能在AI时代可能很难持续了，要尝一尝半导体行业打工人的常规待遇，比如谈薪资要的太高直接把offer谈没了 互联网公司持续把资源从人工转到GPU购买上，挤压人员的成本，削减福利+不停裁员换血，我觉得每一个互联网公司的SDE打工人，都应该买入Nvidia作为风险对冲（弥补自己被GPU挤出价值链的风险） -------------- 在AI时代，这个互联网时代边际成本几乎为零利于scalable的特性遭遇了根本性的重大挑战：且不说训练成本从此不是一次性开销而是年年增长，就客户的AI推理请求而言，由于inference scaling成为共识，加上模型本身需要更大规模来达到更好效果，推理的成本可能不会随着硬件算力价格的通缩而降低 就像当年的手机行业芯片每年的算力都在提升，照理来说续航每年都能增长一大截，但是最佳商业逻辑是在功耗满足人们能忍受的限度内（电池能用一天），尽可能提升体验，而不是维持体验不变降低功耗。不然的话，手机早就能达到待机几个月的水平了 AI时代的推理也是一样，o1的成本降低了，大家就会用体验更好的o3，gpt4o的成本两年降低了一百倍，大家就会去用gpt4.5，成本比两年前的GPT4还要高，gpt4.5一天限额只有几条。agent半年时间跑相同任务便宜了十倍，但一个新的效果更好的agent又把价格拉了回去 这个AI推理成本可能就和当年的手机芯片功耗一样，在人们能忍受的成本限度内，尽可能的提升体验。所以AI推理成本不会降低，也就是互联网时代讲究的分发边际成本会变高很多 更不说因为AI使用量的提高带来的token消耗量的巨额增长。 这也导致互联网公司在这一块的投入，也是在财报能忍受的限度内，尽可能的提高自己的算力，这可能也是为什么Google最近又提高了AI的capex到85B，其他几个互联网巨头提高capex也是理所当然可以预见的事情。这也许会带来一个前所未有的现象：在scaling law失效之前，算力开销成本增长不会低于互联网业绩增长 ------- 从这个宏观背景的变化出发，也就是AI和互联网在底层算力特性上的不同出发，那么也许可以尝试推演一下，这会带来什么策略上和商业模式上的变化 （待续）
#AI时代 #互联网时代 #算力成本 #GPU #资本支出
avatar
fin
2个月前
今年在一家小几百人startup做芯片，还是有些感慨的 芯片拼到最后就是拼能耗比，这是一级指标，真的是靠堆海量的人力去针对每种workload调试每一点power和performance，人不够就是会有差距，startup对于power和performance的要求要低太多了，只要大差不差就行，能把功能实现出来就是成功 startup跟大厂比，除了关键地方的IP，很多地方就是买现成IP拼凑起来，导致基本上一个人要覆盖大厂三个组的scope，广度上去了精度自然就不够 startup调硬件performance经常没人关心，因为软件FW/compiler太多可以优化的地方了，随便多花点时间得到的收益都比调芯片性能要效率更高 性能只要和当初架构设计的差不多就行，而在架构设计的时候就已经考虑到最后的能耗比等一系列指标了，但考虑到最后的实施，其实就算是带宽和算力指标定的和Nvidia一样，功耗目标也是高出了50%以上，只能靠compiler优化特定的benchmark workload。除非是架构及其特殊，能在特定的workload上从架构上决定能耗比 在大厂呆久了，再去startup就会觉得大厂很多职位就是雕花，投入产出比其实很低，但这些雕花位置又不能砍了，毕竟芯片最后的能耗比有不少提升就是靠这样的微调工作量累积起来的 想起了前几年，当红炸子鸡Nuvia带着苹果CPU架构的所有秘密被Qualcomm收购时候，如果按照标准startup做法，采购ARM公版的interconnected，cache和memory，那Nuvia CPU跑分起码要降10%以上，跟Apple CPU的差距就直接断代了(单核)。也正是有了Qcom的SoC infrastructure支撑，才有了Nuvia第一代CPU在苹果M3/M4出来之前短暂的王朝 芯片startup要能生存，只能靠错位竞争，要么是一个细分市场，要成为明星就得做大公司短期抽不出资源做的一些方向。不然的话芯片大厂的资源起码能在硬件性能上有人力优势去调试的 Nvidia Blackwell Ultra和Vera Rubin的发布，指标上步子迈的这么大，一年一代节奏，看来是希望用 “时间+人力+生态” 形成 IP 壁垒，其实是不利于新晋startup追赶的，要在指标上把东西做出来的难度，真的是越来越大，已经实质上有点堆人力的意思。MTIA/Annapurna lab直接靠对标算力指标来追赶，迟早会翻车(做不出来或者延期) 说到堆人力，Nvidia最近招人力度又开始加大，我两周之内甚至接到了三个不同Nvidia HR的招呼，互联网公司几百人的小作坊也在快速扩张招人来应对，Google TPU组这两年在以色列和印度扩张非常可观，基本是奔着翻倍去的，Meta的MTIA今年大扩招也是奔着50~100%扩张 ------------------------------------ 从芯片设计来看，即便是o3如此强大的AI再发展下去，离自己设计芯片，来取代芯片工程师的职位，仍然很遥远，o3o4o5的进步是10分到50分的事情，而现在的芯片早就进化到堆人力从90分往95分逼近了 当然了，半导体行业广泛采用claude3.7/o3级别的AI，确实也是有帮助的，我这两个月用AI提升的效率，我觉得已经稳稳有20%+的水准了 不用纠结o6o7o8能不能自己设计芯片，因为只要人+AI有更好的效果就行 AGI摆脱工具定义的标准，是人+AI有没有比AI产出更高 只要没有达到这个标准，那么AI仍然是工具属性 可预见的未来内，我看不到AGI摆脱工具定义的可能 ---------------------------------- 最近几个月都是一周80+小时工作，差不多快是人间蒸发的节奏，思考人生的时间都不够用了，追热点都是有代价的，生活不易，猫猫叹气.jpg
#芯片 #创业公司 #能耗比 #大公司 #IP #性能
avatar
fin
6个月前
最近仔细调研了一下，发现一个有点意外的事情，其实即便是FAANG这样的互联网大厂程序员，经常使用GPT的SDE的比例（比如说每周至少用一次，门槛很低了）比想象中低，准确的说，只有50~60% 刚得到这个数据的时候还是有点惊讶的，比直觉上低太多，这已经是排除了所有其他干扰项只看SDE的使用比例数据了 互联网公司内部做genAI/LLM工具的组，竟然也得自己分析如何提高公司内部用户留存率，笑死，竟然不是程序员们求着要用，chatGPT都问世已经两年了 所以在大厂里做SDE，只需要每周用一次GPT/genAI，就已经在拥抱genAI这项上四舍五入超越了快一半同行🤣 至于可能的原因，估计主要是现有老业务比较熟悉，coding和debug也都是业务逻辑，能用的地方不多，就算用了GPT也提升不大。 以至于在公司呆的越久的人用GPT热情越低，也是非常明显的普遍现象 另外的原因，估计也是LLM的表现不尽如人意，就算是有公司内部组专门做RAG而且水平不低，神经刀式不稳定降智也是常有的事 用公司内部的agent tool的人就更少了，百分比太低，以现在agent处理复杂业务问题的稳定性和可控性水平，能经常性玩转真是不容易 我也搜了一下网上其他人的调研进行验证，和我的数据结论基本是接近的，比如Gemini找了不少resource也说大厂weekly使用比例在50~75%之间 所以劈柴去年10月说的什么Google内部超过25%的code都是AI写的，那纯粹是画饼都不讲基本法了 这还是和genAI离得最近的程序员群体，如果把其他领域算上，那普及率就更低了，半导体员工经常使用公司genAI tool的比例，在20%以下 绝大部分传统半导体厂甚至没有内部支持的靠谱RAG（RAG做的非常差劲+不同组之间的资料是全保密的无法access，更不说RAG)，经常用genAI tool工作的比例(定义为每周用一次)能有10~15%不错了 openAI的颠覆所有领域取代程序员取代人的雄心壮志，只能说路漫漫其修远兮，即便是在硅谷，也没那么快 作为一个半导体从业者，这一年我也算是尽可能的使用genAI tool了，工作中平均每天的使用次数在10次以上，目前的感受是提高的效率很有限，可能…有5~10%？大概就是每周能节约几个小时的水平 ---------------------------------------- 2025新年resolution，更加积极的使用genAI tool，能通过genAI提高工作效率20%，我就非常非常满意了
#互联网公司 #程序员 #GPT使用率 #FAANG #genAI #LLM工具 #用户留存率 #数据调查
avatar
fin
8个月前
大模型Scaling law撞墙，基本从年初PHD们吐槽到了现在大佬们公开谈论 作为半导体从业者，这集看了太多遍不能更熟悉了 芯片行业scaling law统称摩尔定律，各路媒体在十五年前就开始悲观的展望摩尔定律消亡 有一个反直觉，或者说主流媒体这几年并不报道的是，制程摩尔定律，竟然比二十年前更快了 摩尔定律的本质，是很多个技术曲线的scaling law前赴后继的组成了一道一道S型技术曲线，累积叠加造成的幻象：芯片每单位面积能容纳的gate数量指数型增长 实际上现在的所谓4nm/N3E制程节点早就成了数字游戏，电路gate的实际尺寸仍然是20nm，只不过gate密度是等效3nm 这就和AI目前的情况一样，LLM的pretraining阶段的大力出奇迹，只是目前阶段投入回报比极佳（最佳）scale up的路线 每个技术曲线的scaling law都是有寿命的，不存在一招鲜吃遍天的情况 AI的LLM的pretraining的撞墙，在AI领域发展长河上，和芯片制程里的众多革命性S型技术曲线一样(比如double patterning，EUV)，是一项亮眼的，值得反复在教课书上称颂的里程碑式技术曲线 正如摩尔定律早已经不是侠义的摩尔定律，而是广义的摩尔定律一样 比如在计算机架构上，Domain specific architecture能玩的花样也越来越多，俨然成了新一道S曲线的快速增长期 如果看前几年的hotchip论文集，很明显，摩尔定律不仅没有停滞，反而在加速，仿佛回到了十几二十年前架构的百家争鸣的新黄金时代 看多了半导体的摩尔定律历史，再看LLM pretraining阶段scaling law撞墙，在更大尺度上的AI发展看起来，不会是什么阻碍 AI的发展，仍然会维持每十年软硬件加速六个数量级的指数发展作为背景板，会有各种广义的加速路线来维持这个指数型发展 中间没有S型技术曲线的真空期，确实会延缓一些速度，比如2012~2017年的摩尔定律。但即便如此，前一代的技术红利商业化还能吃很久很久，即便是supervised learning，现在仍然是在已经很惊人的体量上保持着夸张的增速呢
#大模型 #Scaling law #PHD们吐槽 #半导体 #摩尔定律 #芯片行业 #媒体报道 #制程 #技术曲线
avatar
fin
1年前
一个感觉，北美IT行业打工人的超级红利期可能一去不复返了，或者说，这个寒冬会比以往更久一点 何为北美的超级红利期，就是拿着其他国家(印度/东欧)IT打工人三五倍的工资干着差不多的活儿，公司还继续大幅扩招，导致市场缺人可以一直compete拿大包裹，就像22年初夸张的三年经验SDE2拿42万+大包裹 从22年中形势急转直下开始，整整两年了，IT行业就业仍然艰难 虽然这一轮寒冬可以说是经济周期+高息环境，各个公司降成本战略下带来的直接影响，比如F/G23大裁员主逻辑就是按同级别薪资从高到低（或者unvested股票来算） 但即便是软件行业周期性寒冬，这一次的回复周期可能会比之前要更长，因为这一次不仅是降本 + 过量CS毕业生供需调整的问题，更是因为技术/信息获取门槛大幅下降导致其他国家的IT打工人水平和硅谷的差距飞速缩小。 从其他地域招人带来的正收益越来越明显，感觉到美国，或者说硅谷，在技术水平，创新能力，还有信息上对印度/东欧的优势已经越来越小了 比如Google不少组写app的工作早就外包到东欧了，比如华沙。欧洲的工资确实很低，就连伦敦的Meta都只有总部一半的工资，东欧的工资是总部三分之一都不到，相比起来加拿大的工资是北美的70%对公司已经属于高成本地区。美国一个员工的工资(比如senior 50万美元的包裹)拿到印度去可以招一整个团队，这个说法毫不夸张 更夸张的是不少公司从2022年开始，为了降本增效，已经默认北美之外招人，北美职位空缺了不补，直接在印度补位子，通过这种方式慢慢把高成本人力地区慢慢移到低成本人力地区。 换句话说，IT行业的红利在地域上出现了分化，北美的红利期扩散到了印度和东欧的IT打工人红利期 软件行业会不会一直繁荣下去？很显然会，这个世界的数字化和软件化进程并没有停止，世界的数字化软件化带来的收益也已然还能保持可观的正收益。只是对美国的程序员依赖在降低 从前美国和硅谷的团队和海外office比，人才技术水平显著更高，长期接触最新的技术而掌握的信息和经验，确实是宝贵的。所以公司有非常强的意愿在硅谷成立公司，在办公室一起上班，投入确实大，但回报更为可观。 但信息扁平化让其他地区的人才技术水平快速提升，差距明显缩小，十五年前没有cousera和udacity的时候，要和stanford/MIT上同一个水平的课很难找到途径，而现在，几乎所有的CS课程都可以online找到顶尖CS名校的资源，还能附带project，甚至去raddit专版还能找到一大堆人讨论课程作业，这是十几年前完全不敢想的事情 也许有人会说，只有比较事务性或者非核心的工作才会外包，但这个局面显然也会慢慢改变，越来越多的公司在印度和东欧开分部，等同于是大规模提高从业人员的整体水平，大幅缩小信息差，海外的员工技术提升是非常明显的。就像当年的微软亚洲研究院，等同于大陆的IT黄埔军校，培养了大量后来流向各个公司的技术骨干 这样做的公司越多，信息差和技术差缩小的速度就越快。 这个逻辑可以看看提前10~20年就发生过同样趋势的半导体行业就知道了，最近惊闻某北美半导体大厂的内部技术峰会，印度分部贡献的paper已经超过了60%，于是技术峰会破天荒的直接搬到印度去开了。谁还敢说只有硅谷才能创新？ 作为半导体行业已经经历了完整一轮这样的过程，所谓的核心业务不放到海外，一定只是暂时做不到而已，海外的office分部有充足的人力budget，当总部姐妹组的业务出现需要而人员短缺时，就是扩张scope的大好机会，这个蚕食过程很缓慢，但基本很难逆转。 说完了美国岗位的限制，再看供给端：13~19年，21~22年的超级红利期刺激下，CS科班毕业学生供给量估计是十年前的5~10倍，MIT 40%的毕业生都是CS专业，2023年开始IT岗位已经恢复了一些的情况下，仍然在消化21~22年过度招聘的那部分senior，名额轮不到没经验的新人，这个时候海量CS毕业生就业情况就显得格外可怕了 等到降息开始市场持续恢复两年，把市场上闲置的senior消化的差不多了，进入下一个扩张周期，新红利期下的CS毕业生的情况估计会好些，但很难找到前些年的那种疯狂的超级红利期了，毕竟CS毕业生的水平是最容易被印度和东欧取代的。 根据这个规律来推，美国资深的senior工程师还是会出现短缺（在扩张周期），因为印度东欧的员工大规模技术提升也是需要时间的，资深工程师的好日子应该还有~10年 等到10~20年后，印度东欧也掌握了部分不少业务，团队培养逐渐成熟，美国的资深工程师的优势就更小了。
#北美IT行业 #超级红利期 #寒冬 #经济周期 #就业困难
avatar
fin
2年前
chatGPT并不万能，优点缺陷都很明显，对人类文明最大意义在于改善知识获取门槛/易用程度，相当于加速全群体知识获取速率，光这一点就够写进历史书 信息/知识获取门槛而言，印刷从10万降低到1万，交通发展从1万降低到1千，互联网/搜索从1千降低到100，在线教育从100变成50，chatGPT把门槛50变成了20🧵
#ChatGPT #知识获取 #科技发展 #人工智能 #印刷 #互联网 #交通 #在线教育