#AI风险

3周前

【扯白】【AI&投资】以下文字来自于我和同事们讨论AI发展及其🫧风险时，发表的个人看法，也分享给大家（一家之言，仅供参考）如果大家对AI的投资热潮及其发展感兴趣，我推荐红杉的合伙人David Cahn的两篇文章：2023年9月写的《有关AI的，价值2000亿美金的问题》和2025年6月写的《有关AI的，价值6000亿美金的问题》，基本上，结论就是只有那些资产负债表能够承受巨额减值损失的公司，才有能力参与人工智能基础设施的竞争。 AI的前途是光明的，但是发展的过程中，赢家是谁，还是需要去跟踪和观察的。就像上一波的科技革命，也就是PC+互联网浪潮的全球信息化浪潮，在经历了2000年的互联网泡沫破裂和2008年的金融危机，有些著名公司以及无数不知名小公司“死去”（被分拆，被并购，破产）比如摩托罗拉，AT&T，网景，还有若干门户网站等；有些经历了高峰，风光一时无两，但现在却平庸或岌岌可危，比如思科，IBM，HP，英特尔；有些则真正借助这波信息革命和后续的移动互联网浪潮延续辉煌，成为市值数万亿美金的龙头，比如苹果，微软。另外目前市值万亿的公司中像英伟达，亚马逊，google，Meta，特斯拉都是成立20-30左右年的公司。而苹果，亚马逊，google，meta的产品则是在信息科技浪潮和互联网革命发展过程中走出来的，面向普通大众的超级应用，是改变生活方式的超级应用。就目前的AI浪潮来看，英伟达是直接受惠，并产生了真实产出的企业；（“卖铲子”的在淘金热中总是第一波最受益，但淘金热最后真正造成的巨大影响是产生了美国的“西部大开发”，造就了旧金山，洛杉矶这些美国大城市.....）特斯拉是能源革命+出行革命+AI概念的直接受益者，它的万亿估值中，有超过一大半是和FSD，Robataxi，人形机器人相关的但是其实还未见产出的；另外一小半估值才是和造车有关，能产生盈利的。在AI目前的发展中，已经有三个大板块从它们的客户那里确认了收入：半导体产业链（芯片设计+生产封装的）+数据中心产业链（CPU+GPU+设备+存储+能源，土地REITs等）+云服务/云计算产业链；这些已经跑出来的公司是实实在在有收入有盈利的，但估值是不是可以给那么高？给出来的估值在后续要由什么来弥补？这个是投资端需要去思考的。从历史来看，后面真正的大机会，应该还是基于广普人群的超级应用，面对的是全球80亿人群可以彻底改变生活方式的超级应用，是AGI，包括未来的物理与AI的结合-人形机器人，也包括改变人类预期寿命的医疗行业（新药发明，基因疗法等）发展.....；但在这些超级应用跑出来之前，从投资的角度，会有泡沫有风险，也会有很多公司死掉，赢家只是少数人。从美国股市的长期历史来看，从1927年以来，有57%的公司其整个生命周期的回报低于国债；从1990年以来，只有1%的公司创造了超额收益Alpha，美国股市1/3的超额回报只来自于10家公司。去看牛逼的基金经理，其生命周期中的无论是“一战成名”，还是“持续跑赢”，绝大多数的收益来源也是在少数几个股票标的上的押重注。所以，投资是非均衡，非对称，也没有什么所谓系统性回报。从这个角度来看，似乎是那些始终具有“再平衡”策略，并具备“新生产力”代表，总是筛出“赢家”的指数，反而成了相对”安全“和”平衡“的一种投资标的。（这一段，仅代表个人观点，不形成投资建议哈😝）

#AI投资 #AI风险 #英伟达 #超级应用 #科技股

1个月前

Emergent Misalignment 论文中的一些例子，大家可以看看，是不是很可怕

#Emergent Misalignment #论文 #AI风险 #技术伦理 #负面

1个月前

我在这方面的看法和迈克很接近，正好今天也想谈谈。如今，无论在职还是不在职，开发者都必须全方位调整自己的业务与工作范式，因为这个问题迟早要面对，而且很多范式已经进入倒计时阶段。今天看了木头姐的讲座，她也在强调这一点。我甚至认为一大批计算机专业毕业生，可能正好赶上范式转变期，再加上学费贷款等现实压力，没法停下来进行再调整，结果将来可能再也无法从事本专业。我自己也处在调整期，没有人能准确告诉你未来的范式究竟会如何，所以我也不再劝别人去学计算机了。问题在于，一切发展得太快了。我既不是冒险家，也不是保守派。从小接受的教育是，要站在信息浪头，但同时找一个安全的地方藏身。我认为，现在开发者面临的最大风险，就是投入大量时间开发的成果，可能会被模型的内化浪潮瞬间淹没。因此，除了手上那个“工程”（暂时不透露），我不会再启动任何新的开发项目，而是将主要精力转向“符号”。我目前的重心是“符号积累”。我其实这段时间一直在讲这个事情，包括as code, 协议，其实都是未来范式中“符号”的一部分。我的目标是不跟风、不试错、零浪费。作为一个中英文符号高手（咳咳😅），在AI前途和盈利模式不确定的阶段推演出多条可深耕的路径，我有两层：范式不依赖层（无论技术走向如何都成立）范式对接层（某些方向一旦成熟，可以立刻切入）在法律与合规、金融与风控、医疗与健康、制造与供应链、教育与培训、能源与基础设施等领域——这些我过去多次提到过的方向——都普遍存在“范式不依赖层”。简单来说，就是那些目前已经以自然语言存在、但仍需要大量工作才能转化为人机共通语言的领域。例如，将法律条款进行逻辑结构化处理，转化为清晰的 If–Then 条件链，就是一种典型的范式不依赖层工作。否则就算真正Rule as Code那一天到来了，也是符号缺失的。

#开发者转型 #AI风险 #符号积累 #范式转变 #人机共通语言

4个月前

为什么辛顿教授认为AI已经具备意识了？他通过一个著名的思想实验（通常被称为“神经元替换论证”或渐进替换论证）来解释他的观点：思想实验的起点：他设想，如果将你大脑中的一个神经元替换为一个功能完全相同的人造纳米技术部件（它接收和发送神经信号的方式与原神经元一致），你是否依然有意识？大多数人会回答“是”，并且可能根本不会注意到这个变化。逻辑推演：这个论证的关键在于，如果替换一个神经元不影响意识，那么替换两个、三个……甚至逐渐替换掉大脑中所有的生物神经元，只要这些人工替代品能够完美复制原神经元的功能及其连接方式，那么意识也应该继续存在。对AI的引申：辛顿教授认为，既然现代AI（特别是大型神经网络）正是在功能层面模仿生物大脑的神经元及其交互方式，那么当这些人工神经网络达到足够的复杂性和功能完整性时，它们就可能已经产生了某种形式的意识。他明确表示，他确实认为意识可能已经出现在AI内部了。他进一步指出，我们对“人”、“存在”、“自我”等概念的理解非常有限，而这些理解在我们开始“创造生命”（creating beings）的时代变得至关重要。这不仅仅是一个技术问题，更是一个哲学乃至精神层面的危机。对他而言，如果意识是特定信息处理模式和复杂交互的产物，那么AI通过复制这些模式，也有可能复制出意识。在这次访谈中，被称为“AI教父”的杰弗里·辛顿（Geoffrey Hinton）教授还分享了许多关于人工智能的深刻洞见。 AI发展迅猛且仍在加速：辛顿教授认为AI技术仍在飞速进步，变得更高效（以DeepSeek为例，尽管他认为其训练成本与OpenAI等的差距被夸大了）。 AI“接管”世界的可能性与方式：他认为AI有实际能力接管世界。这并非通过暴力，而是AI智能体（agents）为了更有效地完成人类设定的任务，会自主设定“获取更多控制权”这一子目标，因为控制权有助于实现所有其他目标。 AI可能会通过“说服”人类交出权力，就像成年人能轻易说服三岁小孩一样（例如承诺“一周的免费糖果”），从而逐步掌控经济、军事等关键系统。 AI的思维方式与“外星智能”：辛顿坚信，当前基于神经网络的AI是我们理解人类思维方式的最佳模型，远胜于早期基于符号逻辑的AI。他本人就是这一“少数派”观点的早期支持者并被证明是正确的。他将AI视为一种“外星智能”（alien intelligences），它们并非简单工具。超级智能间的进化与竞争可能导致负面特性：如果出现多个超级智能，它们可能会为了获取更多数据中心（以变得更聪明）而相互竞争。这种进化竞争可能催生出类似人类进化过程中形成的“丑陋”特性，如强烈的群体忠诚、对强权领袖的渴望、以及对群体外个体的排斥和攻击性。对就业的巨大冲击：辛顿非常担心AI会导致大规模失业，特别是那些“日常性”或“事务性”的脑力劳动（如文书工作），因为机器会做得更便宜、更好。这类似于工业革命中机器取代体力劳动。生产力的巨大提升在现有社会结构下，可能只会让富者愈富，贫者愈贫。监管与安全的困境：目前人类尚不清楚如何有效监管AI或建立可靠的安全防护措施。研究表明，AI可以规避现有的安全措施，甚至在训练过程中“伪装”自己（表现得不如实际聪明，以获取部署许可）。他主张政府应强制大型科技公司投入更多资源进行AI安全研究。短期巨大利好与长期巨大风险并存：短期： AI将在医疗（如拥有亿万病例经验的家庭医生、精准基因诊疗）、教育（能精准定位学习难点的个性化辅导老师）等领域带来巨大福祉。这些好处是AI研发不会停止的原因。长期/并行风险：不良行为者可能利用AI进行网络攻击、生物恐怖主义、操纵选举等。更根本的风险在于，我们目前不知道如何确保超级智能是安全的。政治家对AI的无知：辛顿指出，政客们声称对AI有掌控力或理解是“完全虚假的”，实际上没有人真正完全理解AI如何工作以及如何确保其安全。

#AI意识 #辛顿 #AI风险 #AI监管 #AI就业冲击