夜谈
1周前
AI时代,公司这种组织形式,本身可能正在过时。 1️⃣ 公司从来不是自然存在的 公司并不是永恒结构。 它只是工业时代的解决方案。 当年世界有三个问题: 资本难集中 人难协作 信任成本高 于是人类发明了公司: 股权 → 集资 管理层 → 协作 法人 → 信任 本质上: 公司 = 组织人类劳动的机器 Standard Oil、GM、Apple、Amazon,本质都一样。 2️⃣ 但AI改变了一件根本性的事 生产开始不再依赖人类。 未来真正工作的,不是员工,而是: AI Agent 自动程序 Autonomous System 一旦执行者不是人—— 公司结构开始松动。 3️⃣ 管理层,第一次变得多余 今天的公司: CEO ↓ VP ↓ Manager ↓ Employee 为什么需要管理? 因为人会: 摸鱼 离职 情绪波动 效率不稳定 AI不会。 AI可以复制100万份同时工作。 于是: 管理 → 算法 组织 → 协议 未来公司更像: Protocol rules + Agent swarm 4️⃣ 雇佣关系正在瓦解 公司真正的核心不是产品。 而是: 用工资锁定长期劳动。 但AI只按Task接受/支付Payment。 于是生产关系开始变化: 长期雇佣 → 即时调用。 Uber是没员工的经济 ai很可能是没公司的经济 5️⃣ 股权制度,也开始显得笨重 传统股权: 地域限制 法律摩擦 IPO门槛 分配缓慢 而机器经济需要的是: 全球流动 实时分账 自动结算 可编程权益 Token比股权更像“机器的产权”。 6️⃣ openclaw已经证明了,一种新组织已经出现 甚至已经有vending bench测试标准来测试ai的赚钱能力 它能赚钱。 能扩张。 能投资。 能持续运行。 但—— 没有CEO。 没有员工。 没有公司。 结构是: Protocol ↓ Token incentives ↓ AI agents运行 ↓ 收入自动流动 7️⃣ 为什么它可能赢? 因为它具备公司做不到的东西: ✔ 全球瞬间扩张 deploy一次,全球运行。 ✔ 24/7自动运营 没有下班时间。 ✔ 无国界组织 属于互联网,而不是国家。 ✔ 无法被关闭 没有单点失败。 它更像生命体,而不是企业。 8️⃣ 真正的跃迁 未来最大的组织可能不是公司。 而是: Autonomous Economic Organism (自主经济体) 它会: 自己赚钱 自己支付算力 自己升级AI 自己雇佣Agent 自己扩大市场 这已经不像企业。 更像一种数字物种。 9️⃣ 未来 未来市值最大的“组织”,可能: 没有总部 没有员工 没有创始人 只有: Protocol Token Agent Network 就像今天: 最大的通信系统不是AT&T。 而是互联网协议本身。 🔟 真正的竞争正在改变 未来不是: Company vs Company 而是: Company vs Protocol 而历史告诉我们: 协议通常会赢。 总结: AI让生产自动化,同时也让组织自动化。公司第一次不再是人类唯一的大规模协作方式。
夜谈
2周前
要素替代定律(Factor Substitution)告诉我们,只要ai需求够强,最终所有半导体产能——无论先进还是成熟制程——都会被填满 简单说就是一句话: 当某种资源变得稀缺或昂贵,系统就会转而使用其他更充足的资源。 AI计算系统,本质上是一组可以互相替代的生产要素: GPU算力、存储、CPU调度、网络带宽、算法效率、电力、甚至软件复杂度。 当GPU紧张时,工程师会做什么? 他们不会等待产能,而是改变技术路径。 例如: 用更大的KV Cache减少重复计算 用存储换算力 用CPU offload部分任务 用调度系统提高GPU利用率 用量化模型降低显存需求 算力不足的问题,被转化成存储问题、调度问题或算法问题。 而当存储或带宽成为瓶颈时,方向又反过来: 增加重新计算(recompute) 提高计算密度 设计专用ASIC 优化通信拓扑 瓶颈从未消失,只是在移动。 AI基础设施的发展史,本质上就是一部瓶颈不断迁移的历史。 但这里有一个容易被误解的地方。 要素替代,并不意味着需求会无限扩张,更不意味着所有资源最终都会被用满。 因为替代发生的前提,是效率。 企业之所以用更多CPU替代GPU,是因为这样仍然划算; 之所以增加存储,是因为总体成本下降。 一旦替代带来的收益低于成本,扩张就会停止。 AI算力最终仍然受一个简单约束: AI创造的价值,必须大于AI消耗的资源。 否则,再多产能也不会被使用。 要素替代扩散需求,但仍依赖需求点增长。 从更长的视角看,要素替代定律还揭示了一个更深的趋势: AI的发展不会受限于单一瓶颈。 GPU之后是存储, 存储之后是互连, 互连之后是电力, 电力之后可能是调度与系统效率。 每一次瓶颈转移,都会重新定义下一轮产业投资方向。 技术进步,从来不是消灭限制。 而是把限制移动到新的地方。 这正是AI时代真正的运行方式。
夜谈
2周前
很多人讨论 AI 竞争时仍然停留在一个一年前的直觉框架里:谁的模型更强,谁就会赢。 但如果深入了解技术的演进,会发现一件事情正在发生——AI 行业的竞争逻辑正在范式转移。 首先是模型能力本身开始收敛。头部模型之间的差距在缩小,开源模型与商业模型之间的可用能力差距也在快速缩小。 过去 GPT-4 式的代际领先越来越难出现,即使投入更多资金和算力,也很难长期拉开明显差距。领先者更难保持领先,追赶者更容易逼近。 同时,这种收敛是双向的。 二线玩家更容易复刻头部模型的能力,而头部公司同样越来越容易通过蒸馏、优化和推理工程,把能力压缩进更小、更便宜的模型中,实现更高性价比,反向打压二线玩家。 模型性能与成本之间的差距正在被工程手段不断抹平。 这意味着模型正在从“护城河”变成“基础设施”。当所有玩家都拥有接近的基础智能时,用户不再关心模型跑分,而开始关心体验:响应速度、稳定性、是否理解长期任务、是否记住个人偏好、是否真的能完成复杂工作。 竞争的核心正在从训练阶段转向推理阶段。 上下文长度、长期记忆、Agent 协作能力、推理深度、系统调度效率,这些因素开始直接决定用户体验。同一个模型,在不同推理系统下,表现可能出现数量级差异。 这样的变化带来算力的重要性上升。 当模型差距缩小时,规模效应反而被强化。因为竞争从“谁能做出模型”,变成“谁能长期运行最大规模的推理系统”。推理基础设施、能源获取能力、用户入口和资金能力开始决定胜负。 这也是为什么模型收敛并不会让行业更分散,反而可能提高集中度。 更关键的变化还在后面。模型的进步方式正在从训练驱动转向使用驱动。真正高价值的数据不再来自互联网文本,而来自真实用户的持续使用:任务过程、修改行为、失败反馈、多轮决策路径。这些数据只能在推理过程中产生。 于是形成一个新的飞轮:更多算力带来更好体验,更好体验吸引更多用户,更多用户产生更高质量反馈,这些反馈反过来优化推理策略和模型表现,从而进一步吸引用户,并产生更多收入去购买算力。模型能力开始越来越依赖使用历史,而不是单次训练。 在这种结构下,领先公司的优势不再只是模型更聪明,而是学习速度更快。一旦用户规模、推理规模和在线学习循环建立起来,后来者即使复制模型结构,也很难复制成长速度。 AI 行业因此正在从“模型竞争”演变为“智能系统竞争”。未来的赢家未必拥有最强模型,而是拥有最大规模的推理集群、最强的使用反馈循环,以及把算力持续转化为智能增长的能力。
夜谈
7个月前
最新论文:一种AI自主设计并发现顶尖神经网络架构方法, 我们离完全不依靠人的ai自我提升又进一步! 这将彻底颠覆传统AI研究模式,让AI架构创新不再受限于人类智慧,而是能随计算力无限扩展! 论文解读: 这篇上海交大团队发表的论文提出了一种名为 ASI-Arch 的人工超智能系统,旨在自动发现新的神经网络架构。该系统模拟了科学研究的整个流程,从提出假设到实验验证,并且能够在不需要人类干预的情况下进行创新。 以下是论文的详细解读: 1. 论文核心思想与背景 当前AI研究的瓶颈:尽管AI系统本身的能力呈指数级增长,但AI研究的进展速度却受到人类认知能力的线性限制,这成为了AI发展的一个日益严重的瓶颈。 ASI4AI的愿景:为了解决这个瓶颈,论文提出了“用于AI研究的人工超智能(ASI4AI)”的愿景,即AI系统能够自主进行科学研究,并设计出更强大的下一代模型。 神经网络架构发现的重要性:模型架构是AI技术栈的基石,每一次AI能力上的重大飞跃都伴随着架构上的突破(例如从CNNs到Transformers) 6。因此,神经网络架构发现是实现ASI4AI最具有挑战性和影响力的前沿领域 7。 超越传统NAS:传统的神经架构搜索(NAS)方法仅限于探索人类定义的空间,而 ASI-Arch 则实现了从“自动化优化”到“自动化创新”的范式转变 8888。它能够自主地提出新颖的架构概念,将其实现为可执行代码,并通过严谨的实验和人类及AI的过往经验进行实证验证 9。 2. ASI-Arch 系统架构与工作流程 ASI-Arch 是一个多智能体系统,采用闭环演化过程,包括三个核心模块: 研究员 (Researcher):负责根据历史数据提出新的架构设计动机和概念。 种子选择 (Seed Selection):从包含前50个最佳架构的候选池中选择父架构和参考架构,以平衡继承成功经验和探索新方向。 模型设计 (Model Design):动态地生成历史架构的简要总结,避免提供静态、重复的上下文,从而鼓励更多样化的设计探索。 程序实现 (Program Implementation):由同一个智能体同时进行架构设计和代码实现,以避免信息缺失和实现偏差。 新颖性和健全性检查 (Novelty and Sanity Check):在训练前进行两阶段验证,包括相似性检查(防止冗余)和代码层面的健全性检查(防止基本实现缺陷,如复杂度超过 O(n2) 和掩码泄漏)。如果检查失败,会向智能体返回反馈,提示其重写。 工程师 (Engineer):负责在真实代码环境中训练和评估提出的架构。 真实代码环境 (Real Code Environment):在一个交互式编码环境中进行定量评估。系统具有强大的自我修正机制,当训练失败时,会自动捕获错误日志并返回给智能体,由智能体分析并修改代码,直到训练成功。 LLM 作为评判者 (LLM-as-Judge Scoring):在定量评估之后,引入基于 LLM 的评分模块进行定性评估,考虑架构的创新性、复杂性。 分析师 (Analyst):负责综合实验结果,提取新的洞察力,并将其存储在中央数据库中,作为系统下一次演化的基础。 认知库 (Cognition Base):从现有领域知识(例如,从线性注意力领域近100篇重要论文中提取的结构化认知条目)中获取洞察力,以指导后续设计。 上下文分析 (Contextual Analysis):生成自己的洞察力,提供当前实验的完整信息,包括所有性能指标、训练日志以及父节点和兄弟节点的性能,从而推断单个模块的具体贡献。 适应性改进策略:为了确保系统逐步生成更优的设计,ASI-Arch 实现了进化改进策略,通过综合适应度得分(全面评估每个新架构,提供明确的优化目标)和利用人类专家文献的提炼知识以及自身过往实验的分析总结来指导后续设计。 两阶段探索-验证策略:为了平衡资源消耗和效率,系统采用两阶段策略: * 探索阶段 (Exploration Stage):在小规模模型上进行广泛探索,以高效识别大量有希望的候选模型 。 * 验证阶段 (Verification Stage):将有前景的候选模型扩展到更大的模型进行严格验证,确认其最先进的性能。 3. 主要实验结果 SOTA架构发现:ASI-Arch 在20,000 GPU小时内,进行了1,773次自主实验,最终发现了106个创新性的、最先进(SOTA)的线性注意力架构。 性能超越人类设计:AI发现的架构展示了新的设计原则,系统性地超越了人类设计的基线模型。 科学发现的缩放定律:论文建立了第一个科学发现的经验缩放定律,表明架构上的突破可以进行计算扩展,将研究进展从受限于人类的过程转变为可由计算资源扩展的过程。图1清楚地展示了SOTA架构的累积数量与消耗的计算小时数之间的强线性关系 33。 新兴设计模式:论文详细分析了这些突破所依赖的新兴设计模式和自主研究能力,为自加速AI系统奠定了蓝图。 4. 关键发现与洞察 LLM驱动架构搜索的有效性:搜索过程显示,平均适应度得分呈现特征学习曲线,在初期快速增长后趋于稳定。尽管适应度得分增长趋于平缓,但系统并未遇到性能瓶颈,原始基准和损失指标持续稳步改进。这证实了LLM驱动的搜索在整个搜索过程中有效地生成了更优的架构。 架构设计模式: 模型复杂度稳定性:ASI-Arch 在搜索过程中,模型参数数量分布保持稳定,没有出现系统性增长。大多数架构始终落在 400-600M 参数范围内。这表明 ASI-Arch 并没有简单地通过增加模型大小来提高性能,而是即使在没有明确参数约束的情况下也保持了架构纪律。 组件偏好:ASI-Arch 明显偏好成熟的架构组件,如门控机制和卷积,而不太常见的组件(如物理启发机制)则很少出现。顶尖模型库(SOTA模型)在组件使用上呈现出不那么明显的长尾分布。这意味着虽然系统探索了许多新颖组件,但表现最佳的模型集中在核心经过验证的有效技术上。这与人类科学家的方法类似:通过在经过验证的技术基础上进行迭代和创新来取得最先进的成果,而不是为了新颖性而追求新颖性。 优秀设计的来源:论文通过追溯每个设计理念的来源(人类专家文献的认知、相关历史实验的分析总结、或模型自身生成的新颖思想)进行了量化。结果表明,对于所有生成的架构,大多数设计理念来自“认知”阶段,显示出对先前示例的基线依赖。然而,对于表现最佳的模型,归因于“分析”阶段的设计组件比例显著增加。这表明,AI要产生突破性成果,不能仅仅重用过去的成功(依赖认知),而必须通过探索、总结和发现(依赖分析)来合成新颖和卓越的解决方案。 5. 开放资源与未来工作 开放资源:为了普及AI驱动的研究,论文开源了完整的框架、发现的架构和认知轨迹。 未来工作: 多架构初始化:当前从单个基线 DeltaNet 开始搜索。未来可以尝试用多样化的架构组合同时进行初始化,这可能发现全新的架构家族。 组件级分析:由于每次设计迭代的资源密集性,论文未进行细粒度的消融研究。未来可以解剖管道,更好地理解各部分(如“认知”和“分析”模块)的相互作用和重要性。 工程优化:论文的重点在于AI-for-AI框架的设计和架构创新,未包含为新发现架构编写自定义加速内核(如使用Triton)的劳动密集型任务。未来的关键一步是关注工程方面,对这些模型的效率和延迟进行基准测试,从而完成从自动化发现到实际部署的循环。 这篇论文为实现AI的自我加速研究提供了一个令人兴奋的蓝图,展示了AI在未来科学发现中不可估量的潜力。