#AI幻觉

avatar
这两天研究了一个很有意思的东西，可以VSCode+Copilot的代码质量提高至少1倍以上。简单来说就是，用特定的chatmod+项目级别的指令文件，可以减少很多AI幻觉。
AI编程工具激战：Claude Code、Gemini Cli崛起· 1035 条信息
#VsCode #Copilot #代码质量 #AI幻觉 #效率提升
avatar
Meathill
1个月前
越是历史长、链条长的需求，AI 幻觉也越严重。比如这两天，我在开发邮件->AI自动处理的功能。这就需要用户发邮件给我们分配的邮箱，所以需要在 Cloudflare 上配置 Email Routing+Email Worker。然后Gemini就告诉我不能用二级域名收邮件，但使用Google搜索，会看到官方文档有介绍如何实现这个功能。
#AI幻觉 #Gemini #Cloudflare Email Routing #二级域名 #邮件自动处理
avatar
阿橡
1个月前
OpenAI罕见发论文：我们找到了AI幻觉的罪魁祸首 原因，简单来说就是：标准的训练和评估程序更倾向于对猜测进行奖励，而不是在模型勇于承认不确定时给予奖励。
#OpenAI #AI幻觉 #深度学习 #不确定性 #奖励机制
avatar
宝玉
1个月前
OpenAI 揭秘：AI为什么会一本正经地胡说八道？ OpenAI 最近发表了一篇名为《语言模型为何会产生幻觉》(Why Language Models Hallucinate) 的文章，深入解释了 AI “幻觉”产生的根本原因，并提出了减少这种现象的解决方案。 规则的“锅”：AI 被鼓励去猜测，而非承认无知 文章指出，大语言模型之所以会产生“幻觉”，是因为我们现有的训练和评估方式存在一个根本性问题：它奖励猜测，而不是鼓励模型承认自己的不确定性。 大多数评估体系衡量模型表现的方式，都无形中让模型养成了“猜答案”的习惯。当模型的评分标准只基于准确性时，它为了拿高分，自然会倾向于在不确定的时候蒙一个答案，而不是诚实地回答“我不知道”。 问题的根源：来自“预训练”阶段的先天不足 这种“爱猜测”的习惯，其实在模型的“学前教育”阶段，也就是 预训练 (pretraining) 过程中，就已经埋下了种子。 在预训练期间，模型通过预测海量文本中的下一个词来进行学习。但问题在于，这些学习材料并没有为每一句话贴上“真”或“假”的标签。这使得模型很难区分哪些是有效陈述，哪些是无效信息。 这个挑战在处理那些偶然出现的、低频事实时尤其突出。比如，某个特定宠物的生日是哪天？这类信息无法单靠语言模式来预测，模型只能去“编造”，而这正是幻觉的直接来源。 未来的出路：教会AI保持“诚实” 研究人员总结道，要解决幻觉问题，就必须更新那些只看重准确率的评估方法，让新的评分机制不再鼓励猜测。如果主流的评估“排行榜”继续奖励那些侥幸猜对的行为，那么模型就会继续学习并依赖猜测。 他们强调，幻觉并非AI不可避免的缺陷。语言模型完全有能力在不确定的时候选择“弃权”，而不是胡说八道。我们需要做的，是创造一个能鼓励这种“诚实”行为的环境和规则。
#OpenAI #AI幻觉 #语言模型 #预训练 #诚实AI
avatar
0xWizard
1个月前
发现一个有趣的类比， ai 的“幻觉”：在不知道正确答案时，也会根据概率胡说八道； 这和人很像，很多人在一些根本不懂的领域，会根据自己想象自信给出“答案”。 处理 ai “幻觉”的一个方法是：用很多他回答错误的对话，来训练他，让他明白，不知道的时候，要说：对不起，我不知道。 处理人的“幻觉”也许可以用类似的方法： 多回想一下自己“以为知道”，但结果证明是完全错误的案例。很多时候，一些重大亏损，都是来源于此。 这样，下次做交易决策时，好好想想是不是自己在“幻觉”中，会很有帮助。
#AI幻觉 #人类认知偏差 #训练学习 #交易决策 #风险控制
avatar
Yangyi
1个月前
你知道哪些ai极大概率存在幻觉的场景？ 我先来：AI计算时差会存在幻觉
#AI幻觉 #时差计算 #人工智能 #技术挑战
avatar
Oasis Feng
3个月前
哈哈，让 Kimi K2 作事实核查，居然把一篇其它 AI 幻觉出的裁判文书说得全是真的……🤣 #艾艾相卫
#AI乱象不止：内容注水，隐私堪忧· 193 条信息
#Kimi #K2 #AI幻觉 #事实核查 #裁判文书
avatar
愚人节条漫｜AI幻觉这么重，全信了会怎样？
#愚人节 #AI幻觉 #技术误导