宝玉
5个月前
OpenAI 揭秘:AI为什么会一本正经地胡说八道? OpenAI 最近发表了一篇名为《语言模型为何会产生幻觉》(Why Language Models Hallucinate) 的文章,深入解释了 AI “幻觉”产生的根本原因,并提出了减少这种现象的解决方案。 规则的“锅”:AI 被鼓励去猜测,而非承认无知 文章指出,大语言模型之所以会产生“幻觉”,是因为我们现有的训练和评估方式存在一个根本性问题:它奖励猜测,而不是鼓励模型承认自己的不确定性。 大多数评估体系衡量模型表现的方式,都无形中让模型养成了“猜答案”的习惯。当模型的评分标准只基于准确性时,它为了拿高分,自然会倾向于在不确定的时候蒙一个答案,而不是诚实地回答“我不知道”。 问题的根源:来自“预训练”阶段的先天不足 这种“爱猜测”的习惯,其实在模型的“学前教育”阶段,也就是 预训练 (pretraining) 过程中,就已经埋下了种子。 在预训练期间,模型通过预测海量文本中的下一个词来进行学习。但问题在于,这些学习材料并没有为每一句话贴上“真”或“假”的标签。这使得模型很难区分哪些是有效陈述,哪些是无效信息。 这个挑战在处理那些偶然出现的、低频事实时尤其突出。比如,某个特定宠物的生日是哪天?这类信息无法单靠语言模式来预测,模型只能去“编造”,而这正是幻觉的直接来源。 未来的出路:教会AI保持“诚实” 研究人员总结道,要解决幻觉问题,就必须更新那些只看重准确率的评估方法,让新的评分机制不再鼓励猜测。如果主流的评估“排行榜”继续奖励那些侥幸猜对的行为,那么模型就会继续学习并依赖猜测。 他们强调,幻觉并非AI不可避免的缺陷。语言模型完全有能力在不确定的时候选择“弃权”,而不是胡说八道。我们需要做的,是创造一个能鼓励这种“诚实”行为的环境和规则。
Andy Stewart
5个月前
才回家,真实创业故事整起。 我最近这家公司成立的时间是2019年9月12日,成立后就军运会,然后大家都知道,武汉疫情了,还好创立之初有投资款,要不创业第一年到处跑不了的处境,第一年就饿死了。 很多人问我为什么做现在AI硬件,我说我最开始不是这么想的,最开始只想让团队活下去,只要能赚钱,啥项目都接,根本不会有啥矫情的创业理念啥的。 所以,我现在看到很多所谓成功后采访创业者的视频,都是扯淡,最开始只是活下去,活一日思考一日,先活下去再说,哪有那么多事先规划呀? 言归正传,疫情后,2020年下半年,终于找到一个项目,客户也愿意给钱,但是客户提了一个非常不合理的需求。就是你们要赚钱,就要帮我把另外一个项目的活干了,现在公司没那么困难了,现在肯定会无条件拒绝,太扯淡了。但是,当时真的是,无条件同意,一秒都没有迟疑,要吃饭呀。 客户的额外要求是开发一个eclipse插件,公司唯一会Java的我在做销售,其他开发都不会Java,而交期只有三天,最难受的是公司CTO还得了带状疱疹,带状疱疹这个病看起来吓人,而且痛起来更吓人,整个半边身体都是神经剧痛,动一下就痛那种。 当时的情况就是这样的,人少,一个萝卜N个坑,三天交付eclipse插件怎么可能,是交付,不是写demo,就算Java熟手也要更多时间。 但是,创业就是成就英雄的时候,CTO老板说:商务同学你先沟通客户需求,越详细越好,我有办法。 商务同学在现场沟通了一整天需求,我们CTO那时候带状疱疹特别疼,一只手输液,他在干什么? 1. 第一天把JAVA语言手册读完一遍,熟悉JAVA的基本语法 2. 第二天早上把eclipse插件手册看一遍,知道怎么写eclipse插件 3. 第二天晚上把商务同学第一天搞的需求读一遍 4. 第三天花了一天时间,一只手输液,一只手在病床上,把eclipse插件代码敲完了,测试一遍可以跑。第三天晚上10点把源码给了商务 商务同学原来也是研发出身,赶鸭子上架做商务,给客户之前问了一嘴CTO,一天写的代码有bug吗? CTO冷冷得回答一句,你的需求如果写的没问题,代码肯定100%如预期运行。 那时候商务同学也没有啥办法,主要是没时间了,晚上加班写完安装手册文档,就连源码和文档交给了客户,心里其实挺忐忑的,万一插件不行,合同就没了。 等了几天,客户把合同签了,说了一句话:你们牛逼,我几个月不知道怎么弄得东西,你们真三天就交付了,合同给你们。 这就是我们公司CTO的传奇经历,有时候人与人之间的差距就是这么巨大,比你牛逼的人比你还勤奋,让你觉得绝望。 好了,故事讲完了,这么牛逼的技术团队,懒猫微服内网穿透就是CTO打造的,国内顶尖水平,内网穿透完,家里所有设备都和家外的终端形成一张黑客无法攻击的虚拟加密内网,相互访问不同终端的服务,就如同本地文件拷贝那么简单。 大佬们,来一台懒猫微服,就有可能跟我们牛逼的CTO学习计算机基础技术。 想要的同学评论区扣1,我给大佬们周末专属优惠,无门槛立减1024元,仅限周末。