#Fiction.LiveBench

karminski-牙医

2个月前

无了，昨天以为 llama-4 虽然写代码不行，但是1M-10M的超长上下文还能干点别的。结果今天 Fiction.LiveBench 结果放出了。llama-4 在 1K 上下文召回(近似, 实际上这个分数是问题回答的正确率)就掉到60%以下了，甚至 llama-4-scout 超过16K只有22%。顺带一提哈利波特与魔法石正好是16K左右。这意味着你把这本书塞进去，然后问哈利小时候生活在卧室还是楼梯下面的储物间，llama-4-scout 只有22% 的机会能答对（近似理解，实际上召回要再复杂点）。总之，这个分数远低于头部的平均水平....

#llama-4 #超长上下文 #Fiction.LiveBench #哈利波特