相关新闻

placeholder

Gorden Sun

2天前

在Transformer内部造一台计算机 一篇充满争议的文章，Percepta AI把WebAssembly解释器编译进Transformer权重，让模型的前向传播本身就是程序执行，不依赖任何外部工具就能进行数学计算。 流程是：C代码→WASM→将WASM解释器编码进权重→前向传播逐token输出执行轨迹 争议的点在于：权重不是训练出来的，而是直接编译进去的，更像“用一种奇特方式写了个程序”，不是

placeholder

向阳乔木

3个月前

应该是上周 Jeff Dean 在斯坦福做了个分享，用AI总结写成文章，视频见评论区 AI 是怎么突然变这么强的？ Jeff Dean，Google 的 AI 负责人，他用自己的经历，讲了这个故事。 他说："我们今天看到的 AI，是过去十五年技术叠加的产物。" 不是一个突破。是一系列突破。 每一个突破，都让 AI 往前跨了一大步。 接下来，让我讲清楚这些突破是什么。 从最早的"模型学

placeholder

Y11

4个月前

2025年的一天，Google的会议室里，一场持续四小时的内部会议刚刚结束。 屏幕上展示着最新数据：他们的AI模型Gemini用户已达4.5亿，云服务年收入突破500亿美元，自研的TPU芯片正成为全球AI算力的核心之一。 但会议室里的气氛并不轻松——十年前，就是在这样的技术优势下，他们发明了Transformer，却让OpenAI和Anthropic从自己的实验室里"走"了出去。 一、从微厨

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

5个月前

ICL的表达力边界 定理（ICL的容量限制）： 如果上下文长度为 L，隐藏维度为 d，则ICL最多能表示秩为 min(L, d) 的函数。 推论： •对于 L=100, d=1000 的Transformer •ICL最多能学习”100维的线性子空间” •远小于IWL的 d²=1,000,000 维参数空间 这解释了： •为什么ICL适合”快速适应”（低秩近似足够） •为什么IWL适合”长期学习”

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

5个月前

关键突破：从Transformer到”任何复杂神经网络” 论文的结论部分有个惊人的陈述： “Our results remain valid if the self-attention layer is switched by other forms of contextual layers, like that of a RNN, or any layer that can take an in