宝玉
1个月前
如果你正处在人生的低谷,觉得自己怎么努力都不够,也许 Soumith Chintala 的故事能给你一点力量。 这位后来创造了 PyTorch、成为 Meta 副总裁 的男人,起点并不光鲜。 Soumith 来自印度的 Hyderabad Public School。学业成绩算不上差,但“数学不好”这件事一直像阴影一样跟着他。 高考时,他没进一线名校,而是进入了印度人眼中的“二本院校”—— VIT(Vellore Institute of Technology)。 大学毕业时,他考了 GRE 1420(老版本满分 1600),成绩不错,但申请 12 所美国硕士项目时,居然全军覆没。 所有学校——无一例外——拒了他。 他想了想,只能用一个词形容自己当时的状态:“fuckit.jpg” 于是他干脆咬牙办了 J-1 交流访问学者签证,直接飞去美国 卡内基梅隆大学(CMU),完全没计划,只想着“先去再说”。 到了美国,他再次申请了 15 所硕士。 这一次结果好一点: 只有 USC 接收了他,以及 NYU(纽约大学)2010 年的补录通知。 来到纽约大学后,他遇到了一个改变命运的人: Yann LeCun —— 当时还没拿图灵奖,也没成为 AI 超级明星。 在 NYU,他还遇到另一位重要导师 Pierre Sermanet,Soumith 说他是“我见过最善良的人之一”。 也是在这里,他开始接触并热爱上了 开源。 毕业后,他投出的简历几乎全部石沉大海。 包括 DeepMind 在内的所有公司都拒了他。 唯一愿意给他机会的,是亚马逊的一份 测试工程师 工作——不是研究岗位,也不是他梦想的 AI 角色。 在低谷时,是他的导师帮了他一把——介绍他去了一家小创业公司 MuseAmi。 但这并没有立刻让他翻身。 之后他还被 DeepMind 再拒两次,加起来三次。 因为 J-1 的“回国两年”要求,他一度无法拿到 H-1B 工作签证。 他花了几个月,与 USCIS 和美国国务院 来回沟通,才终于拿到豁免,得以继续留下。 那段时间,他的自信心跌到谷底。 2011/12 年间,他做出了一个当时非常了不起的成果: 在手机上跑的、全球最快之一的 AI 推理引擎。可即便如此,他还是继续被 DeepMind 拒绝。 最终,真正改变他命运的,是他持续在做的开源项目 Torch7。 他鼓起勇气又给 Yann LeCun 发了封邮件。 就是这封邮件,让他加入了 Facebook 的 FAIR 实验室。 刚进公司时,他差点在训练营“挂掉”,因为一个 HBase 任务卡了很久。 但很快,他抓住了一个关键机会: 当 L8/L9 的资深工程师们都搞不定 ImageNet 的训练问题时,他作为一个 L4 工程师,解决了 数值 / 超参 的关键 bug。 这是他的第一个“大胜利”。 在 FAIR,他负责一个只有三个人的小团队,就是他们后来一起创造了 PyTorch。 但故事并不顺利。 因为内部政治原因,管理层一度打算 关闭 PyTorch 项目。 Soumith 气到一个人坐在酒吧里哭(原话是:cries-at-bar.jpg)。 幸运的是,一些人坚持支持这个项目。 2017 年,PyTorch 正式发布,后来成为全球最受欢迎的深度学习框架之一。 差不多同一时期,他也拿到了 EB-1 杰出人才绿卡。 之后的故事,就成了我们所熟知的历史。 从 2005 到 2017,他经历了: 数学不好 二本院校 两次硕士申请全被拒 所有公司拒绝他 被 DeepMind 拒 3 次、Google 也拒过他 签证危机 项目差点被腰斩 在 Facebook 初期差点挂掉 十二年几乎一直在失败。 但他没有放弃。 最终,他成为 PyTorch 之父、Meta 副总裁、全球 AI 领域最具影响力的人之一。 Soumith 后来也回复了这条推文,特地补了一段话: “这些都是真的。但我还欠很多人一个感谢。” 在 NYU 帮他的导师,是当时的博士生 Pierre Sermanet, Soumith 说他是自己见过最善良的人之一。 Yann LeCun 两次在他“几乎看不到 AI 出路”的时候给他机会, 一次是在 NYU,另一次是在 FAIR。 是 Praveen Garimella 劝他去 IIIT 做最后一年本科项目, 又在他硕士全军覆没后,鼓励他“先去 CMU 再说,不要放弃”。 还有他的父母:Vithal Chintala 和 Rajani Chintala。 他形容自己在一个中产又背着很多债的家庭里长大, 父母后来在 2010 年之后才慢慢实现财务自由。 但在那之前,他们已经在超出自己能力范围的情况下 硬是咬牙支持儿子去追一个“不安全”的梦想路径, 而不是让他去做一份稳妥的工作。 Soumith 说,这是非常伟大的养育方式。 他还特地对原推作者 Deedy 表示感谢—— 正是对方花时间把这些散落在他人生里的“细节”, 一段段挖出来、串成了一个完整的故事。 Soumith 在最后写了一句很平静的话: 我相信,每一个如今“坐在成功之上”的人, 背后都有很多挣扎。 生活从来不会轻轻松松。
新手自媒体人如何修复心理障碍的一个BUG? 这是我见到最多人的问题,每天都纠结写什么,好像发出去的东西就一定要很完整,逻辑无懈可击,让别人看的很爽。结果写了几天,一篇也没发。 修复这个心理毛病,就是先假装自己已上路。 其实也是用了原子习惯的原则,每天先迈一小步。我总结方法如下: 1 每天告诉自己,我写的东西只给自己看,这样就没压力了。 2 每天坚持记录一点,输出一点,清晨日记是个好方法。那时候思维敏捷,写写东西思路快 3 用AI,特别是元宝里面有个录音总结的,每天对他说一点,他会录下来,并形成总结,然后发到自己微信上的文件助手哪里做保存。 4 视频博主,开始可以每天自己录一点自说自话的自拍,先告诉自己不用发,这时候就是你最自然状态,如果哪一条觉得有感觉,再编辑发出去。 5 多发,多记录,总有流量爆的一天。慢慢会有创作效果的感知,通过持续写作和内容输出,你能逐渐感知平台流量变化。随着创作的深入,对作品发布后的反馈会有更敏锐的直觉。能大致判断何种内容受关注,何种需改进。这种直觉判断有助于调整创作方向,更好地适应自媒体平台和受众需求。 发给众多新人分享,同时我也是新人,共勉。 最近也在研究一款适合自媒体人用的AI,发现用的太爽了,各位关注这篇文章等我写好会推荐。
赵纯想
1个月前
人工智能骗子们说:神经网络模拟的正是人脑的工作方式。但是,从那篇论文《all you need is attention》,到现在,谜底始终写在谜面上。从天文数字的语料中提炼出来的,就是注意力。大模型在生成“成功、乃是、失败、之”之后,它的所有注意力,都瞄准了那个“母”字。 这是凝固的注意力,是僵尸注意力。而人脑的注意力是:我让你闭上眼睛,不许低头的情况下,告诉我,你手腕上的表丢了没有。这时候,你调动你的注意力,开始感受你手腕上传来,表的重量,你告诉我,你没有丢掉你的表。 信息的洪流从未停止向你的大脑输入!我不问你的时候,你的皮肤上,由表的重量传递而来的微弱压力,和那个“戴着那块表的感觉”,从未停止向你的大脑发送信号。只不过,你的大脑,选择了忽略这些输入。 忽略!伟大的忽略。 而神经网络,会处理输入它的一切垃圾,每时每刻,全量处理每一个细节。你在提示词里输入的任何一个,垃圾小逗号,都会影响最终输出的走向。 人在火车上,那么吵的环境,竟然能睡着。人在旱厕里,闻久了臭味,竟然觉得,没那么臭了?那是因为,花多了不香,屎多了不臭——重复信号多了,则降低它的权重! 动态注意力,动态权重。动态注意力,动态权重。 相比之下,预训练是什么意思?是创造了一个,”臭就是永远臭,香就是永远香“的灵魂。说白了,创造傻子。
这个我还蛮想说下自己的痛苦的 我现在收入分三块: 1. 服务:做AI产品顾问,挺稳定的,也不算少,但多不了 2. 课程:和风变科技合作AI编程社团,4个月了,坚持每周直播,到最近才积累了很多课程,开始稍微公开的卖 3. 广告:AI自媒体们最大的收入 看过大家的报价,我目前的单篇报价应该算是Top的 但这会带来一个最严重的问题 依赖 怎么说呢? 举个例子,卖课第一个月结算的时候 我一看,下意识的嘟囔了一句 “才这么点,还不如去写篇广告” 很有工资是毒药的那种味道 之前在生财航海家饭局上分享过这种感受 但大家哈哈大笑,还以这个来给我打标签 但我自己非常知道这种痛苦 什么痛苦呢: 一方面是来钱太轻松 会让你飘飘然 (但其实自媒体接广告的上限非常低) 另一方面一旦停了你又很痛苦 比如我没签MCN 10月只有一单 我会发现收入锐减 再一方面,好产品的商单很少 所以你经常需要痛苦的找Good Case 最终写出来的其实对读者也不负责 真的,比起广告,我觉得卖课更好 今天直播有人说果然自媒体的尽头是卖课 说这句话的哥们,我相信他不知道我写广告收入比卖课多得多 卖课很好 我带了更多同学一起把想法落地 期间积累了很多的AI编程经验 最近做的产品就完全把之前积累的经验串了起来 有了收入打底 我也有了根据地,可以去做更多有意义的事 现在,我还在接商单 我期望的是,明年可以只接我认可产品的推广 以后,只推自己的产品
Tw93
1个月前
今天 AICon 的一个预热直播圆桌中,我把对于 AI 下 10x 个体的一些问题的回答速记记录,分享给小伙伴。 1. 团队里是否存在「10x 个体」?他们强在哪里? - 之前的高效是指干活又快又好的同学,很难有所谓的 10 倍 - 10x 其实不是指代码量或者需求完成量的 10 倍,而是指产生的业务效果和贡献的 10 倍 - 现在的 10x 更多还是指不局限于本身原有岗位,更多是解决问题,能够快速 Get 到业务痛点,以及如何去解决这个问题,技术更多成为他实现的一个工具手段,加上 AI 的出现,让手段本身的执行多了很多自动化的工具帮他 A 区完成 - 在需求、设计、开发、运营效果迭代很全能的同学 2. AI 浪潮下,优秀工程师 / 产品的评价标准,发生了什么变化? - 之前,自己写得又快又好,快速完成,高质量,产品,对产品业务很熟悉,prd 写得很不错清晰,能否对产品发展想的清楚,有取舍,产出的东西能够实际有业务影响效果,有自己的主见 - 有了 AI 之后,你会发现,用的好的情况下,AI 写得比大部分工程师都要好,慢慢变成了 问题如何拆解、架构如何实现、业务工作流如何设计、如何让 AI 更好的达到目的,如何定义 AI 的产出效果以及知道如何去优化这个效果让他更好,能力上变成全能的产品工程师了 - 技术门槛变低,但对人的素质的要求变高了 3. 如果一个 3–5 年从业者想往“10x 个体”靠近,应补哪几类能力? - 折腾能力,愿意接受新事物的能力,愿意去玩各种新技术,并想到和自己要解决问题的关系 - 学会把 AI 容易到自己的业务工作流里面去,而不是单纯的问 AI 当做谷歌用 - 基础技术能力,计算机科学,设计交互审美能力,全栈技术的能力,运营推广的能力 - 学会沟通,不管是和人沟通,还是和 AI 沟通,都有很大的技巧,让对方能够很好的 Get 到你的意思 4. 如何把个体的 AI 能力放大为团队能力?第一步是什么? - 其实比较难,因为这个很取决个人本身,好比最开始 ChatGPT 刚刚出来的时候,愿意折腾的同学很早就去折腾了 - 第一步还是建议对于好的标准,什么是用的好,是怎么用的,对清楚团队的要求,以及更多还是通过项目事情去锻炼人,先有场景,然后有标准SOP,最后就是把整个团队的信息总线给建立好,形成一个非常通顺的上下文环境,方便大家可以很好的接入,没有阻碍 5. 如果用你自己的话来定义「10x 组织」,你会怎么说? - 事情传递效率非常高,理解非常快,Get 很快,没有消息传递失真 - 上层决策非常清晰,保障一线执行非常顺畅,决策基于统一上下文环境 - 一线非常善于使用各种工具来解决问题,不设置自己岗位限制 6. AI 落地中,最难跨过的卡点在哪里? - 业务规则、业务效果的定义可被 AI 效果匹配上,大家对于标准达成一致 - 规模化过程中,对于效果提升到和人,甚至比人更好的这个阶段需要做大量的迭代,但是这些迭代会需要有非常清晰的人去拆解、执行