#LLM测试

RichChat

4个月前

刚看到还有人在做一个专门测试大模型“幻觉”的排行榜，这是今年2月11号更新的榜单，排名第一的是Google Gemini-2.0-Flash-001。不用在图上找文采比较好的DeepSeek R1和Sonnet 3.5了，按照这里的统计都属于上不了榜的水平。。。榜单的打分逻辑很简单：训练了一个专门检测幻觉的模型，然后用1000篇短文档测试市面上的各大LLM。每个LLM都被要求严格按照文档内容做总结，温度设为0以保证输出的确定性。记录三个关键指标：事实一致性率、幻觉率和回答率。为什么选择总结任务？- 因为在普通问答中研究者很难判断回答是否属于幻觉。但在总结任务中，由于有明确的参考标准 - 原文本身。这让评估变得客观且可量化。也算是模拟了真实世界中RAG系统的应用场景。

#大模型 #幻觉排行榜 #Google Gemini-2.0 #DeepSeek R1 #Sonnet 3.5 #幻觉检测 #LLM测试