月之暗面把 Kimi Linear 开源了！这东西是专门用来处理超长文本的。简单说几个数据： KV 缓存降了 75%，处理百万字的文本时，解码速度能快 6 倍多。技术上用了个 3:1 的混合设计，就是 3 个线性注意力层配 1 个全注意力层。核心模块叫 KDA，能让模型自己判断该记住什么、该忘掉什么。测试下来，在长文本生成、代码理解、数学推理这些场景，表现确实比传统的全注意力

#Kimi Linear #开源 #超长文本处理 #线性注意力 #月之暗面

相关新闻

Rainier

16小时前

中国的做法，其实让市场竞争变得更加激烈。一个产品的利润，往往来自几个部分——软件，以及硬件的租赁。在过去，美国的科技公司利润主要来自软件，硬件租赁只是小头。而从边际成本来看，软件的成本要低得多。软件靠什么赚钱？靠算法和工程实现。比如，OpenAI 是最早发现通过强化学习（RL，比如 GPRO）可以产生“涌现”现象的公司，然后他们悄悄地把这一技术用于自家产品。从商业角度看，这是完全合理的做法

AIGCLINK

1天前

美团刚刚开源了一款低延迟全模态大模型：LongCat-Flash-Omni，128K上下文+支持超8分钟实时音视频交互能听能看能说，毫秒级延迟，可以拿来搭建实时语音助手、直播弹幕机器人、音视频质检等在OmniBench上超Gemini-2.5-Flash、Qwen3-Omni，接近Gemini 2.5 Pro；在MMBench与Gemini、GPT-4o、Qwen-VL相当；MVBench

Gorden Sun

2天前

ChronoEdit-14B：英伟达开源的图片编辑模型类似Nano Banana，但是效果差一些，人物一致性保持的还可以，但是语义理解不太行，比Kontext Dev强一些。模型：

Gorden Sun

2天前

LLM训练手册 HuggingFace分享了他们训练SmolLM3-3B的详细操作步骤，200多页的文档。地址：

沉浸式翻译

3天前

Github上发现一个196K star的免费、开源计算机科学自学宝藏课程体系OSSU（Open Source Society University）计算机科学项目主要通过世界知名高校（如哈佛、MIT、普林斯顿等公开课程）为学习者提供完整的本科学历级别的CS教育路径。涵盖了计算机科学本科所有核心基础知识（编程、数学、算法、系统、理论、安全、应用、伦理等），并有进阶课程和项目课程。分为

关联事件

MiniMax M1发布：开源长上下文推理模型引发AI领域震动

MiniMax公司今日正式发布了其开源的长上下文推理模型MiniMax M1，该模型具有1M token的输入和80K token的输出能力，标志着开源AI模型的又一重大突破。MiniMax M1的训练成本仅为53.5万美元，性能超越了Qwen3和DeepSeek-R1，接近顶级闭源模型。新模型引入了Lightning Attention上下文优化机制，使其在处理10万tokens的生成任务时，计算量仅为DeepSeek R1的25%。此次发布不仅展示了MiniMax在开源领域的领先地位，也引发了对AI模型性能和训练成本的广泛关注，尤其是在与OpenAI O3、Gemini 2.5 Pro、Claude 4 Opus等模型的对比中，MiniMax M1展现出强大的Agentic Tool Use能力，进一步推动了人工智能技术的发展。