#llama-4

karminski-牙医

2个月前

无了，昨天以为 llama-4 虽然写代码不行，但是1M-10M的超长上下文还能干点别的。结果今天 Fiction.LiveBench 结果放出了。llama-4 在 1K 上下文召回(近似, 实际上这个分数是问题回答的正确率)就掉到60%以下了，甚至 llama-4-scout 超过16K只有22%。顺带一提哈利波特与魔法石正好是16K左右。这意味着你把这本书塞进去，然后问哈利小时候生活在卧室还是楼梯下面的储物间，llama-4-scout 只有22% 的机会能答对（近似理解，实际上召回要再复杂点）。总之，这个分数远低于头部的平均水平....

#llama-4 #超长上下文 #Fiction.LiveBench #哈利波特

karminski-牙医

2个月前

刚看到的侧面消息，Meta 的 AI 负责人已经离职了，可能是由于 llama-4 搞不出来目前 llama-4 面临的压力我们来数一数，首先它肯定不能大于 120B，甚至最好还是维持在 70B，然后要超越 Qwen2.5-QwQ，Gemma3-27B 的水平，然后还要面临马上 Google 的新编码模型, DeepSeek-R2, Qwen-3 的冲击.... 不过我还是希望开源模型会多一些的... 去年 Llama 用的真的很爽，然后 DeepSeek-V3 一出，就没 Llama 啥事情了...

#Meta #AI #离职 #llama-4 #Qwen #Gemma #Google #开源模型