相关新闻

placeholder

Colin Wu

2周前

大家越来越依赖 AI，对它的原理也想更多了解，AI 工具除了有大量训练数据还有卓越的逻辑推理能力，它还有一个厉害之处在于并行思维: GPT 或者其他工具，是一个拥有极大知识宇宙、并能以超高速进行逻辑推理的语言引擎。 普通人类的推理是：线性的，慢速的，需要检索记忆。AI 可以同时在数千条推理路径上做并行计算，然后把最可能有用的一条呈现给你。 好比你提出问题，AI 瞬间同时计算 200～200

placeholder

張小珺 Xiaojùn

4周前

这篇很前沿，也很hardcore——关于算法和架构创新。 由于数据、算力、算法三驾马车，数据难度增大，中国算力相对有限，中国的算法走在了世界前沿。 近几年架构最大突破是DeepSeek的MoE，它让MoE成了全球共识；而下一个突破的重要方向可能是Attention。中国公司已经在Attention展开了不同技术bet。 本集我们从Kimi Linear、DeepSeek Sparse、Minima

placeholder

Cell 细胞

3个月前

“影响力本位制”：货币只是一种过渡介质，真正的终极资产是 Attention & Influence。

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

4个月前

阶跃星辰stepfun可以的，这个step3的部署架构把attention和MLP分开，效率更高！ LLM的下一个突破是啥？attention+MLP+？

placeholder

The Figen

10个月前

Superb technique to divert attention.

placeholder