#奖励机制

16小时前

OpenAI罕见发论文：我们找到了AI幻觉的罪魁祸首原因，简单来说就是：标准的训练和评估程序更倾向于对猜测进行奖励，而不是在模型勇于承认不确定时给予奖励。

#OpenAI #AI幻觉 #深度学习 #不确定性 #奖励机制

18小时前

OpenAI 新论文揭示 AI 模型产生幻觉的根本原因：并非神秘故障而是由于当前主流奖励机制造成的问题。现阶段奖励机制是鼓励 AI 模型蒙答案而不是承认自己不知道，这导致 AI 即便不知道答案也会自信满满的给出错误回答，而要解决问题就必须改革评估系统不能单纯追求准确率，要奖励 AI 模型的不确定性回答。查看全文：

#OpenAI #AI模型幻觉 #奖励机制 #不确定性 #评估系统改革

1天前

OpenAI昨天发的博客 - 为什么大模型会有幻觉一句话总结：traditional accuracy-based evals penalize humility and reward guessing 传统的大模型训练奖励机制会更鼓励模型去猜测而非承认自己不知道。还有一系列的truth vs. myth 👇

#OpenAI #大模型 #幻觉 #奖励机制 #猜测