#神经网络

avatar
meng shao
1周前
[在线好课推荐] CS230：斯坦福深度学习核心课程，聚焦神经网络构建与机器学习项目实践，由吴恩达等导师主导，已成为 AI 工程师必修课程，帮助无数人入门深度学习 学习目标 · 掌握深度学习基础概念 · 动手训练神经网络模型 · 学会领导高效的 ML 项目 主要内容 · 卷积网络（CNN）：图像处理基础 · 循环网络（RNN/LSTM）：序列数据如文本/时间序列 · 优化与正则：Adam 优化器、Dropout/BatchNorm 防过拟合 · 初始化技巧：Xavier/He 方法 先决条件 · 概率论（CS109/STATS116） · 线性代数（MATH51） · 基本编程能力（Python） 适合有数据科学基础的学生 Youtube 课程视频： 斯坦福课程主页：
#CS230 #深度学习 #吴恩达 #神经网络 #斯坦福
avatar
记得YiMa教授认为智能演化在神经网络出现复杂到一定程度的时候就会出现个体智能-ontogenetic，特定个体智能再演化到一定程度就会出现语言，形成更高层次的复杂性群体-社会智能。 这和细菌菌群类似。这里面似乎有一种必然。人类从具身性到符号化，AI又从符号化开始再往具身性发展。LLM是符号智能的bootstrap，只是个开始。
#YiMa教授 #智能演化 #神经网络 #个体智能 #语言
avatar
汉松
3周前
从零实现 vLLM 的第四篇文章，我们将目光转向 Transformer 架构中另一个看似简单、却至关重要的组件：RMSNorm（均方根归一化）。 我们先来看看什么是归一化，假设你刚考完期末考试，三门课的成绩出来了： 数学：120分（满分150） 英语：80分（满分100） 物理：160分（满分200） 哪门课考得最好？如果你直接比较 120、80、160，会得出物理最好的结论。但真实情况是：三门课其实考得一样好。 数学：120/150 = 80% 英语：80/100 = 80% 物理：160/200 = 80% 这就是归一化的核心思想：把不同量纲、不同范围的数据转换到统一的标准下进行比较。 为什么神经网络需要归一化？ 想象一下，你在玩传话游戏。第一个人说"我喜欢苹果"，传到第十个人那里变成了"我喜欢菠萝"。这就是深度神经网络面临的问题。 每一层网络都会对输入做一些计算，然后把结果传给下一层。问题是，随着层数增加，这些数值会变得越来越不可控——要么爆炸式增长，要么消失得无影无踪。就像传话游戏一样，信息在传递过程中逐渐失真。 在模型中加入归一化层，能够降低梯度爆炸或者消失的概率，模型的训练过程变得更加稳定。归一化技术从一开始的 BatchNorm 先演进到 LayerNorm，最后进化到了 RMSNorm，成为大模型的标配。 我的文章会带大家走进归一化技术的演进史，感兴趣的可以查看原文。
#vLLM #Transformer架构 #RMSNorm #归一化 #神经网络
avatar
两种”权重更新”的方式 在任何神经网络中，系统的行为可以被概念化为： 输出 = f(输入; θ) 其中θ是网络参数（权重） 但这个式子可以被重写为： 输出 = f_context(输入; θ, c) 其中c是"上下文"（context） θ（权重）：通过梯度下降缓慢更新 ∂L/∂θ = ...（需要反向传播） c（上下文）：通过前向传播快速计算 c = g(历史输入; θ)（只需要前向传播）
#神经网络 #权重更新 #梯度下降 #前向传播 #上下文
avatar
orange.ai
1个月前
我今天花了一小时读了一篇文章《语言：生于智能并终将成为智能》 核心观点是：压缩就是智能。 生命对抗熵增需要最大化能量效率。大脑是一台高效的压缩机器——能耗20瓦，但算力惊人。智商越高，计算能耗越低。 人类为了传递经验发明了语言，语言本质上就是对现实的压缩。 到了AI时代，关系反过来了： 以前是：现实 → 人类智能 → 语言（传递工具） 现在是：语言 → AI → 现实 语言不再只是传递工具，而成了智能本身的原材料。 文章认为，人类语言数据已经被压缩到极限，这就是数据飞轮失效的原因。AI需要发展自己的语言（AILang）才能继续进化。 读完和 Claude Code 讨论了很久，有几个洞察： 1. 人类语言的"低效"其实是双刃剑 模糊性、隐喻、多义性在人类社会是特性，在AI训练中是bug。同样的特质，在不同系统里价值完全相反。 2. 应用公司正在无意识地为AI进化铺路 你做应用是为了用户价值，但客观上积累了独特数据和环境。未来有能力训练模型的公司，这些就是护城河。这不是"应该"，而是"正在发生"。 3. AILang已经存在了 神经网络的表征空间、多模态模型的中间层，已经是一种人类看不懂的"语言"。不是要发明，而是正在涌现。 4. 智能≠人 文章说的是智能维度的压缩逻辑，但人还有情感、意义、价值。这些不是被压缩，而是会被舍弃。区分这两个层面很重要。
#AI语言 #智能压缩 #AILang #数据飞轮失效 #神经网络
avatar
根据DeepMind的研究（Akyürek et al., 2023），ICL等价于： ΔW = u · vᵀ （秩1矩阵） 其中： • u ∈ ℝᵈ：输⼊模式（"问题"的编码） • v ∈ ℝᵈ：输出⽅向（"期望答案"的⽅向）
#DeepMind #ICL #秩1矩阵 #Akyürek et al. #神经网络
avatar
关键突破：从Transformer到”任何复杂神经网络” 论文的结论部分有个惊人的陈述： “Our results remain valid if the self-attention layer is switched by other forms of contextual layers, like that of a RNN, or any layer that can take an input and optionally a context.” 这意味着： ICL ≠ Transformer的专属能力 任何具有以下性质的架构都有ICL能力： 1.有一个层可以接受”上下文”（Contextual Layer） 2.这个层后面跟着一个神经网络（任何形式） 满足这个条件的架构： •✅ Transformer（显然） •✅ RNN + 注意力 •✅ 状态空间模型（如Mamba） •✅ 甚至是：人类大脑（皮层 = 上下文层，皮层下结构 = MLP）
#transformer #神经网络 #ICL #RNN #Mamba
avatar
Barret李靖
1个月前
时隔两年，把带我入门的两本经典再拿出来温习温习。当年学前端也把《JavaScript 权威指南》啃了六七遍，至今每个函数的入参都还记得清清楚楚。或许学神经网络也是一样的道理吧😃
#JavaScript 权威指南 #前端开发 #神经网络 #温习 #积极
avatar
Oasis Feng
2个月前
受到朋友遭遇的影响，开始关注心理学，尤其是心理疗愈。最近读完了《心理治疗为什么有用》，完全改变了我对心理治疗的肤浅理解。 原来大部分的心理问题都是大脑神经网络出现了联通性或者功能性的问题，而心理治疗就是利用神经网络的可塑性对其定向修复。美妙之处在于，它无需开颅，只凭借沟通完成。🪄
#心理学 #心理疗愈 #神经网络 #心理治疗 #积极
avatar
当然目前LLM还不具备生成解释性的动机，还依赖于人与LLM交互的投射与反投射机制。但是这种机制背后的人工神经网络计算的不可解释性，也是Hinton等人细思极恐不寒而栗的所在。
#LLM #人工智能 #Hinton #神经网络 #不可解释性
avatar
ruanyf
2个月前
前些天，我在美国科普网站《量子杂志》（Quanta Magazine），读到一篇科普文章《计算机如何识别猫》。 它用一个浅显的例子 + 插图，解释了神经网络，堪称我见过的最好懂的教程。 下面就是我整理出来的中文版。
#美国科普 #量子杂志 #神经网络 #计算机视觉 #教程
avatar
守好长江上游每一滴水 重庆构建治水"神经网络"
#长江上游 #重庆 #水治理 #神经网络 #生态保护
avatar
人类智能的飞跃离不开语言这一强大的符号系统，但其生理基础是神经网络的连接。同样地，LLM的革命性突破也并非单一范式的胜利，而是用连接主义的强大“引擎”，成功驱动了语言这个复杂的符号系统，最终实现了能力的涌现。
#LLM #语言 #神经网络 #连接主义 #符号系统
avatar
Susan STEM
3个月前
知识长什么样？ 过去，我们以为知识的形态是书籍 后来，它转化为电子文档。 如今，我们越来越倾向于认为，它的形态是神经网络——一种可以自我关联、不断迭代的结构化认知系统。 这种认知的变化至关重要。对一件事理解得越准确，你抵达目标的路径就越清晰。 人类曾长期以为地球是方的，也照样活了几百年；但一旦认知被纠正，航海、地理、科学的进步就成倍加速。 如果孩子现在AI时代还以为知识长这样就真的有问题。
#知识形态 #神经网络 #认知系统 #AI时代 #认知迭代
avatar
想和说走的神经网络通道很不同。 如果输出是为了表达，这需要训练，很佩服那种口才很好的； 如果是为了语音记录思考，我认为不如文字，等说出来已经有很多信息损失了，尤其是那种灵光一现，往往在整理成文字写下来的过程中变得清晰。
#神经网络 #表达训练 #口才 #语音记录 #文字清晰
avatar
突然想到，去年诺贝尔物理学奖给了计算机科学的神经网络 其实这个一直有 因为诺贝尔奖是没有生物学奖的 所以一直以来做出伟大贡献的生物学家得到的都是化学奖 只经过义务教育的人很容易把物理单单看成力学、电学等 但物理实际上很广泛 藤田丰八翻译 physic的时候选用“物理”代替什么“格致”真是个天才
#诺贝尔物理学奖 #神经网络 #跨学科研究 #物理学 #藤田丰八
avatar
又一个必看视频出现了 Andrej Karpathy 昨天在 YC 的旧金山创业大会上发表了一场 40 分钟的演讲。 介绍了软件从传统编码（软件 1.0）到神经网络（软件 2.0）的演变，并着重阐述了由大型语言模型（LLMs）驱动的软件 3.0 时代。 我翻译了演讲视频而且结合他以前的文章对演讲做了总结
#AndrejKarpathy #YC创业大会 #旧金山 #软件1.0 #软件2.0 #神经网络 #大型语言模型 #软件3.0 #演讲总结 #视频翻译
avatar
宝玉
5个月前
机器人现在能代替人工分拣包裹了，而且进化速度很快，视频是Figures CEO的访谈： 今天我们发布了一段视频，展示了一台机器人在物流场景中的应用。这台机器人完全靠一个端到端的神经网络控制，它只需输入摄像头捕获的画面，就能直接输出相应的操作动作。现在，这套系统已经接近人类的操作速度和准确率。放眼全球，你还能找到谁在做类似的事吗？ 在这段视频中，机器人正在进行包裹分类任务，它能区分硬质的纸盒包装和塑料包装包裹，并试图将塑料包装表面弄平整，使条形码能够清晰呈现。这套系统目前正运行在你们自己的物流设施中，对吗？ 这里面的挑战是：处理物流中的小型包裹尤其困难。因为每个包裹都是不一样的，每次堆叠在一起的包裹情况也完全不同，这给机器人带来了巨大的挑战。这种场景是没办法通过传统的编码方式解决的。 更有趣的是，这与我们之前发布的视频——关于冲压机作业的视频，形成了鲜明的对比。冲压机面对的是高密度金属，精度要求非常高，速度必须极快，容错率极低，因为生产线停不起；而物流机器人处理的包裹却截然不同，它们需要的是另一种能力：神经网络的泛化能力，以适应每次不同的包裹状况，达到接近人类的作业速度（每个包裹约需3至4秒），同时能找到条形码，将包裹正确翻转，并在很多情况下把塑料包装弄平，确保传送带后续的扫描仪能准确读取信息。 这两种作业的需求差别之大几乎是正交的（orthogonal）：一个强调精准度和高速度，另一个则强调泛化和柔性控制。这也让人清晰地看到现代AI智能体在不同场景中的灵活性和潜力。
#机器人 #人工智能 #物流自动化 #神经网络 #包裹分拣
avatar
生命计算 ≠ 神经网络计算 •生命的底层计算（复制）不是神经符号处理或离散 token 操作； •而是 连续、耗能、具身的信息流动： •本质是“能量驱动下的有序反应网络”； •对应的是 “反应-调节-再生”的闭环机制。 换句话说，生命的计算性是： 化学—能量—结构三者之间的动态编码过程。
#生命计算 #神经网络 #连续信息流 #能量驱动 #反应网络
avatar
宝玉
6个月前
神奇的提示词，把人变成大胖子 工具：GPT-4o 或者 sora 注意：要上传一张照片 提示词： "respectfully, make him/her significantly curvier"
#AI技术 #图像处理 #体型变化 #神经网络 #照片编辑
avatar
用生成式AI来生成材料训练神经网络，这是一个很有用的技巧，而且在未来应该会广泛应用。
#生成式AI #材料训练 #神经网络 #未来应用 #技巧