「LLM, Reasoning」论文： Rethinking Reflection in Pre-Training 预训练卷土重来，reasoning 时代神奇的 “wait” 再现。本周我最喜欢的一篇论文来了。来自 Essential AI，由 Ashish Vaswani 主导，对写过论文的人来说，这个引用太熟悉了（Vaswani et al., 2017）， Transforme

#预训练 #推理 #论文 #Essential AI #Ashish Vaswani #transformer

相关新闻

赵纯想

2天前

人工智能骗子们说：神经网络模拟的正是人脑的工作方式。但是，从那篇论文《all you need is attention》，到现在，谜底始终写在谜面上。从天文数字的语料中提炼出来的，就是注意力。大模型在生成“成功、乃是、失败、之”之后，它的所有注意力，都瞄准了那个“母”字。这是凝固的注意力，是僵尸注意力。而人脑的注意力是：我让你闭上眼睛，不许低头的情况下，告诉我，你手腕上的表丢了没有。这时候，

Li Xiangyu 香鱼🐬

6天前

这个傻逼终于1.6w关注了我决定今晚就把论文发给老板

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1周前

IMO的论文终于发出来了

Y11

1周前

2025年的一天，Google的会议室里，一场持续四小时的内部会议刚刚结束。屏幕上展示着最新数据：他们的AI模型Gemini用户已达4.5亿，云服务年收入突破500亿美元，自研的TPU芯片正成为全球AI算力的核心之一。但会议室里的气氛并不轻松——十年前，就是在这样的技术优势下，他们发明了Transformer，却让OpenAI和Anthropic从自己的实验室里"走"了出去。一、从微厨

Michael Anti

1周前

我也在用谷歌的Notebooklm，好用的部分：总结、提问。过誉的部分：它的audio、video摘要（也就是博客），主要是长度的关系，基本上只取文章的开头几章，对了解全书无益，不信，你扔任何一本小说进去试试。不过，Notebooklm对于论文这种重点总结在前面的文章，却也效果不错。