2025-04-04 07:37:00
无了,昨天以为 llama-4 虽然写代码不行,但是1M-10M的超长上下文还能干点别的。 结果今天 Fiction.LiveBench 结果放出了。llama-4 在 1K 上下文召回(近似, 实际上这个分数是问题回答的正确率)就掉到60%以下了,甚至 llama-4-scout 超过16K只有22%。 顺带一提哈利波特与魔法石正好是16K左右。这意味着你把这本书塞进去,然后问哈利小时候生活在卧室还是楼梯下面的储物间,llama-4-scout 只有22% 的机会能答对 (近似理解,实际上召回要再复杂点)。总之,这个分数远低于头部的平均水平....