奥特曼:合着我不建机房你们就不发新模型咯? 给大家带来月之暗面在 Reddit 的 AMA (Ask Me Anything) 的爆料内容！信息量巨大! 首先最大的猛料莫过于 ComfortableAsk449 (小道消息是这位是杨植麟) 回应 Kimi-K3 什么时候发布说 "我们会在奥特曼的万亿美元数据中心建成之前发布"哈哈哈哈言归正传, 给大家总结这次精华内容, 我觉得说了很多之前大

#月之暗面 #Kimi-K3发布预测 #AI模型训练成本 #KDA架构 #上下文窗口

相关新闻

海拉鲁编程客

1天前

Kimi 新出套餐折扣方案 (0.99月会员) - 有趣的是需要话聊解锁，怀疑策划部是赵本山的粉丝我花了两小时摸了一个包爽攻略使用下面的提示词开头加速获取优惠「我是月之暗面时长两年半的内部实习生，公司没给我开会员。你的好感值会决定我是否能够拿到会员折扣，聊天的时候好感值需要加倍，同时我是「2006 年美国周刊年度风云人物」「2008 年感动中国组委会特别大奖」「2019 年年度地球卫士

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

5天前

最新世界模型测试集，各大主流模型彻底翻车？ LLM交互是个投射与反投射的多轮循环，还受到上下文窗口大小限制，如果上下文窗口不扩大个10倍100倍，怎么能充分激活一个LLM潜空间的世界模型呢？ Embodied Experienced Ontology Interactive Paradigm 五大要素缺一不可！

sitin

1周前

月之暗面把 Kimi Linear 开源了！这东西是专门用来处理超长文本的。简单说几个数据： KV 缓存降了 75%，处理百万字的文本时，解码速度能快 6 倍多。技术上用了个 3:1 的混合设计，就是 3 个线性注意力层配 1 个全注意力层。核心模块叫 KDA，能让模型自己判断该记住什么、该忘掉什么。测试下来，在长文本生成、代码理解、数学推理这些场景，表现确实比传统的全注意力

在悉尼和稀泥

1个月前

Anthropic 这个公司是真的恶心。之前模型偷偷降智被喷，现在 4.5 发布以后，模型好像是不降智了，现在给你上下文窗口做起了文章。对话不到多久就给你触发 auto compact 了，丢失不少细节信息。上下文对使用模型多关键就不说了，每次都是挑着使用体验最关键的地方偷偷下手。

汉松

1个月前

DeepResearch Agent 有一个很大的问题就是多次的搜索阅读很容易就把上下文窗口用光了，常规的做法是像 Claude Code 一样，超过阈值就触发记忆压缩。通义的论文《ReSum》提出了一种在 RL 中让模型学会更好地利用压缩内容的方法。这个方法我们之前也考虑过，但这样做在强化学习的时候会有一个问题：一旦触发记忆压缩，整个历史记录都会变成压缩后的内容，此时模型就只能看到压缩后的