# Deepseek 的注意力优化算法： NSA 当前 AI 有一个很重要的能力指标叫上下文长度，这个长度在ChatGPT出来的时候是4K，现在主流模型基本上做到了128K，谷歌， MiniMax已经做到了1m，2m。如果把这个长度类比成计算机内存，我们现在还处在晶体管时代。这个长度难以拓展的原因在于注意力的复杂度上。随着问题上下文变长原始 Transformer 注意力的计算量呈平方

多伦多方脸

9小时前

先搞几十年计划生育，压制中国人口增长后搞大内卷，让中国生育率接近归零最后再给外国人发签证一套组合拳下来灭绝中国人，还得看中共👍👍👍

李老师不是你老师

7小时前

网友投稿：9月30日，莆田市涵江区一农民工上门讨薪被老板连刺十几刀身亡，家属到市政府门口讨要说法。

李老师不是你老师

6小时前

9月30日，河北衡水中学，将原本八天的国庆假期缩短为一天。高三应届生和复读生被暂定安排在10月6日放假，10月7日返校。部分教师通过在线表格统计所谓“自愿留校”，却将表格设置为不可编辑。与此同时，校内电话线被掐断，学生被禁止携带手机，教室电脑也无法上网，使得他们无法向教育局举报。

LT 視界

6小时前

習近平國慶講話明顯反常，國際輿論議論紛紛；中國製造業連續六個月萎縮，還有什麼好說的？中國社會熱點“反轉”，折磨善良的人。

李老师不是你老师

4小时前

9月22日，北京市公安局东城分局针对社区民警提出“四不准”硬性要求。社区民警不得被安排去值守01、02巡逻车，不得参与勤务勤差，不得承担打击办案任务，也不得未经审批随意抽调或更换岗位。