avatar
夜谈
4个月前
最新论文：一种AI自主设计并发现顶尖神经网络架构方法， 我们离完全不依靠人的ai自我提升又进一步！ 这将彻底颠覆传统AI研究模式，让AI架构创新不再受限于人类智慧，而是能随计算力无限扩展！ 论文解读： 这篇上海交大团队发表的论文提出了一种名为 ASI-Arch 的人工超智能系统，旨在自动发现新的神经网络架构。该系统模拟了科学研究的整个流程，从提出假设到实验验证，并且能够在不需要人类干预的情况下进行创新。 以下是论文的详细解读： 1. 论文核心思想与背景 当前AI研究的瓶颈：尽管AI系统本身的能力呈指数级增长，但AI研究的进展速度却受到人类认知能力的线性限制，这成为了AI发展的一个日益严重的瓶颈。 ASI4AI的愿景：为了解决这个瓶颈，论文提出了“用于AI研究的人工超智能（ASI4AI）”的愿景，即AI系统能够自主进行科学研究，并设计出更强大的下一代模型。 神经网络架构发现的重要性：模型架构是AI技术栈的基石，每一次AI能力上的重大飞跃都伴随着架构上的突破（例如从CNNs到Transformers） 6。因此，神经网络架构发现是实现ASI4AI最具有挑战性和影响力的前沿领域 7。 超越传统NAS：传统的神经架构搜索（NAS）方法仅限于探索人类定义的空间，而 ASI-Arch 则实现了从“自动化优化”到“自动化创新”的范式转变 8888。它能够自主地提出新颖的架构概念，将其实现为可执行代码，并通过严谨的实验和人类及AI的过往经验进行实证验证 9。 2. ASI-Arch 系统架构与工作流程 ASI-Arch 是一个多智能体系统，采用闭环演化过程，包括三个核心模块： 研究员 (Researcher)：负责根据历史数据提出新的架构设计动机和概念。 种子选择 (Seed Selection)：从包含前50个最佳架构的候选池中选择父架构和参考架构，以平衡继承成功经验和探索新方向。 模型设计 (Model Design)：动态地生成历史架构的简要总结，避免提供静态、重复的上下文，从而鼓励更多样化的设计探索。 程序实现 (Program Implementation)：由同一个智能体同时进行架构设计和代码实现，以避免信息缺失和实现偏差。 新颖性和健全性检查 (Novelty and Sanity Check)：在训练前进行两阶段验证，包括相似性检查（防止冗余）和代码层面的健全性检查（防止基本实现缺陷，如复杂度超过 O(n2) 和掩码泄漏）。如果检查失败，会向智能体返回反馈，提示其重写。 工程师 (Engineer)：负责在真实代码环境中训练和评估提出的架构。 真实代码环境 (Real Code Environment)：在一个交互式编码环境中进行定量评估。系统具有强大的自我修正机制，当训练失败时，会自动捕获错误日志并返回给智能体，由智能体分析并修改代码，直到训练成功。 LLM 作为评判者 (LLM-as-Judge Scoring)：在定量评估之后，引入基于 LLM 的评分模块进行定性评估，考虑架构的创新性、复杂性。 分析师 (Analyst)：负责综合实验结果，提取新的洞察力，并将其存储在中央数据库中，作为系统下一次演化的基础。 认知库 (Cognition Base)：从现有领域知识（例如，从线性注意力领域近100篇重要论文中提取的结构化认知条目）中获取洞察力，以指导后续设计。 上下文分析 (Contextual Analysis)：生成自己的洞察力，提供当前实验的完整信息，包括所有性能指标、训练日志以及父节点和兄弟节点的性能，从而推断单个模块的具体贡献。 适应性改进策略：为了确保系统逐步生成更优的设计，ASI-Arch 实现了进化改进策略，通过综合适应度得分（全面评估每个新架构，提供明确的优化目标）和利用人类专家文献的提炼知识以及自身过往实验的分析总结来指导后续设计。 两阶段探索-验证策略：为了平衡资源消耗和效率，系统采用两阶段策略： * 探索阶段 (Exploration Stage)：在小规模模型上进行广泛探索，以高效识别大量有希望的候选模型 。 * 验证阶段 (Verification Stage)：将有前景的候选模型扩展到更大的模型进行严格验证，确认其最先进的性能。 3. 主要实验结果 SOTA架构发现：ASI-Arch 在20,000 GPU小时内，进行了1,773次自主实验，最终发现了106个创新性的、最先进（SOTA）的线性注意力架构。 性能超越人类设计：AI发现的架构展示了新的设计原则，系统性地超越了人类设计的基线模型。 科学发现的缩放定律：论文建立了第一个科学发现的经验缩放定律，表明架构上的突破可以进行计算扩展，将研究进展从受限于人类的过程转变为可由计算资源扩展的过程。图1清楚地展示了SOTA架构的累积数量与消耗的计算小时数之间的强线性关系 33。 新兴设计模式：论文详细分析了这些突破所依赖的新兴设计模式和自主研究能力，为自加速AI系统奠定了蓝图。 4. 关键发现与洞察 LLM驱动架构搜索的有效性：搜索过程显示，平均适应度得分呈现特征学习曲线，在初期快速增长后趋于稳定。尽管适应度得分增长趋于平缓，但系统并未遇到性能瓶颈，原始基准和损失指标持续稳步改进。这证实了LLM驱动的搜索在整个搜索过程中有效地生成了更优的架构。 架构设计模式： 模型复杂度稳定性：ASI-Arch 在搜索过程中，模型参数数量分布保持稳定，没有出现系统性增长。大多数架构始终落在 400-600M 参数范围内。这表明 ASI-Arch 并没有简单地通过增加模型大小来提高性能，而是即使在没有明确参数约束的情况下也保持了架构纪律。 组件偏好：ASI-Arch 明显偏好成熟的架构组件，如门控机制和卷积，而不太常见的组件（如物理启发机制）则很少出现。顶尖模型库（SOTA模型）在组件使用上呈现出不那么明显的长尾分布。这意味着虽然系统探索了许多新颖组件，但表现最佳的模型集中在核心经过验证的有效技术上。这与人类科学家的方法类似：通过在经过验证的技术基础上进行迭代和创新来取得最先进的成果，而不是为了新颖性而追求新颖性。 优秀设计的来源：论文通过追溯每个设计理念的来源（人类专家文献的认知、相关历史实验的分析总结、或模型自身生成的新颖思想）进行了量化。结果表明，对于所有生成的架构，大多数设计理念来自“认知”阶段，显示出对先前示例的基线依赖。然而，对于表现最佳的模型，归因于“分析”阶段的设计组件比例显著增加。这表明，AI要产生突破性成果，不能仅仅重用过去的成功（依赖认知），而必须通过探索、总结和发现（依赖分析）来合成新颖和卓越的解决方案。 5. 开放资源与未来工作 开放资源：为了普及AI驱动的研究，论文开源了完整的框架、发现的架构和认知轨迹。 未来工作： 多架构初始化：当前从单个基线 DeltaNet 开始搜索。未来可以尝试用多样化的架构组合同时进行初始化，这可能发现全新的架构家族。 组件级分析：由于每次设计迭代的资源密集性，论文未进行细粒度的消融研究。未来可以解剖管道，更好地理解各部分（如“认知”和“分析”模块）的相互作用和重要性。 工程优化：论文的重点在于AI-for-AI框架的设计和架构创新，未包含为新发现架构编写自定义加速内核（如使用Triton）的劳动密集型任务。未来的关键一步是关注工程方面，对这些模型的效率和延迟进行基准测试，从而完成从自动化发现到实际部署的循环。 这篇论文为实现AI的自我加速研究提供了一个令人兴奋的蓝图，展示了AI在未来科学发现中不可估量的潜力。
谷歌Deep Research：AI操作系统雏形？· 145 条信息
#AI自主设计 #神经网络架构 #ASI-Arch系统 #AI研究瓶颈 #LLM驱动架构搜索
avatar
腾讯开源了一个 3D 世界模型，支持沉浸式漫游和交互 只需一句文字或一张图片，几分钟内即可生成高质量、风格多样的3D场景 采用语意层次化3D场景表征及生成算法，实现前景与背景、地面与天空的智能分离 无建模经验的普通用户也能通过简单指令或图片，快速生成360°沉浸式视觉空间
AI视频井喷：Midjourney领跑，多模态混战· 337 条信息
#腾讯 #3D世界模型 #开源 #沉浸式漫游 #AI生成
avatar
澎湃传媒
4个月前
这种有可信度吗？大家可以在评论区展开讨论。
#AI乱象不止：内容注水，隐私堪忧· 206 条信息
#评论区 #讨论 #可信度 #疑问 #中性
avatar
按照 Claude Code 这个降智水平...... 再下去要输给 Gemini Cli 了
AI编程工具激战：Claude Code、Gemini Cli崛起· 1256 条信息
#Claude Code #Gemini CLI #人工智能 #评测 #负面
avatar
向阳乔木
4个月前
又是熬夜vibe coding到凌晨5点。 给Markdown编辑器加了一个新实用功能，识别为HTML，直接渲染成网页预览。 还能一键发布到互联网。 同时配套两个插件，一个Popclip、一个Chrome插件，随时剪藏文本、网页到本地。
AI编程工具激战：Claude Code、Gemini Cli崛起· 1256 条信息
#熬夜 #Vibe Coding #Markdown编辑器 #HTML渲染 #一键发布
avatar
高情商：老黄对于这个问题的回答简直机智，也是真理 🤣 “假如英伟达产品不受限制，可以根据中国市场的需求提供最新最高端的芯片，谁会受益，谁会吃亏？”
黄仁勋称赞中国市场创新能力，激发全球关注· 30 条信息
#英伟达 #老黄 #中国市场 #芯片 #高情商
avatar
yan5xu
4个月前
这篇文章其实在脑子里酝酿相当长一段时间。因为记忆碎片完美地把llm agent给具像化，不再更新的世界知识，有限的上下文窗口，如何构建外部记忆系统，以及来自信息的投毒，这几乎就是agent入门的完美教程。
#多智能体之争：Anthropic生态VS单智能体· 81 条信息
#LLM Agent #外部记忆系统 #信息投毒 #上下文窗口限制
avatar
XiaoPeng
4个月前
#学以致用 我打算今天把Manus分享的KV Cache技巧用起来。目前数据如下：
AI编程工具激战：Claude Code、Gemini Cli崛起· 1256 条信息
#kv cache #Manus #技巧 #学以致用 #数据
avatar
BadUncle
4个月前
Claude code可能将5小时刷新的方式换成每周重置 这个方式对每天高强度使用的来说应该不太友好---但对普通开发者更友好，意味着你不用担心夜里时间浪费了，前两天闲置，第三天可以集中用一周的额度
AI编程工具激战：Claude Code、Gemini Cli崛起· 1256 条信息
#Claude #Code #每周重置 #开发者 #额度
avatar
不同的人对于 AI 编程工具的不同评价，及其背后的原因。
AI编程工具激战：Claude Code、Gemini Cli崛起· 1256 条信息
#AI编程工具 #评价差异 #原因分析
avatar
Gorden Sun
4个月前
3Blue1Brown发布了一个介绍Diffusion模型原理的视频 用图形化和简单易懂的方式，介绍了AI绘画和AI视频背后的扩散模型的原理，包括CLIP、Shared Embedding Space、Diffusion Models & DDPM、Prompt等内容，普通人也能看懂。 YouTube：
AI视频井喷：Midjourney领跑，多模态混战· 337 条信息
#3Blue1Brown #Diffusion模型 #AI绘画 #AI视频 #科普
avatar
0xTodd
4个月前
看来这次轮到我的号进入 ChatGPT 的灰度测试了😆 Plus 账号可以体验 GPT 官方的 AI Agent 了。 想重申一下我的观点，上周晚上和 Amber 那次直播里我也提到过： 1. 未来大模型 LLM 自己就会亲自做 AI Agent，然后凭借自己的入口优势占掉绝大多数市场。 2. 第三方 AI Agent 是个少见的边际效应不会递减的生意。你如果做 AI Agent 一直用其他大模型，你的用户越多，你的成本越高。 3. 大模型自己的成本却是第三方 Agent 的几分之一。这样的竞赛太难了。 4. 第三方 Agent 只能靠独家的数据，才能获得一些护城河，尽管烧钱买数据这事，依然是这些大模型互联网巨头最擅长的。
OpenAI新德里发布会：ChatGPT语音翻译功能引发热议· 869 条信息
#ChatGPT灰度测试 #AI Agent #LLM #第三方Agent劣势 #数据护城河
avatar
Inty News
4个月前
多年质量保障的VilaVpn！ 🌀 全球高速专线（JP 🇯🇵 / TW 🇹🇼 / UK 🇬🇧 / US 🇺🇸 / 📲 支持 iOS / Android / Windows / Mac 🎮 游戏专线｜解锁流媒体｜稳定不掉线！ 🖱 点此开始自由上网之旅：
#日本VilaVPN引领全球VPN市场，隐私安全成焦点· 25 条信息
#VilaVPN #高速专线 #解锁流媒体 #稳定
avatar
Leo Xiang
4个月前
今天Claude code 不稳定，严重影响效率。
AI编程工具激战：Claude Code、Gemini Cli崛起· 1256 条信息
#Claude #code不稳定 #效率影响 #消极
avatar
MapleShaw
4个月前
分享两个收藏了很久一直没试过的 Prompt，用 Gemini 2.5 Pro 输出的 HTML，包装一下就是很赞的社媒卡片生成器了😍 Prompt 跟 Demo 见评论👇
OpenAI新德里发布会：ChatGPT语音翻译功能引发热议· 869 条信息
#Gemini 2.5 Pro #社媒卡片生成器 #Prompt #HTML #积极
avatar
网友投稿：关于MaskPark事件真实性讨论（五）
#AI乱象不止：内容注水，隐私堪忧· 206 条信息
#MaskPark事件 #真实性讨论 #网友投稿
avatar
网友投稿：关于MaskPark事件真实性讨论（四）
#AI乱象不止：内容注水，隐私堪忧· 206 条信息
#MaskPark事件 #真实性讨论 #网友投稿
avatar
网友投稿：关于MaskPark事件真实性讨论（三）
#AI乱象不止：内容注水，隐私堪忧· 206 条信息
#MaskPark事件 #真实性讨论 #网友投稿
avatar
网友投稿：关于MaskPark事件真实性讨论（二）
#AI乱象不止：内容注水，隐私堪忧· 206 条信息
#MaskPark事件 #真实性讨论 #网友投稿
avatar
SimbaLee
4个月前
👨‍⚕️慎重把AI作为心理医生——平台可能会“出卖你” 相信有很多人，包括我在内会把ChatGPT作为心理医生。不过要注意了！ 奥特曼在最近的一次采访中说：“如果你跟ChatGPT聊些隐私的事情，（平台）遇到官司时，我们可能会被要求提交这些信息……” 我以为只有心理医生会出卖我！
OpenAI新德里发布会：ChatGPT语音翻译功能引发热议· 869 条信息
#AI心理医生 #ChatGPT隐私 #奥特曼警告 #平台数据安全 #心理咨询风险