时政
财经
科技
虚拟货币
其他
登录
#人脑vs神经网络
关注
赵纯想
6小时前
人工智能骗子们说:神经网络模拟的正是人脑的工作方式。但是,从那篇论文《all you need is attention》,到现在,谜底始终写在谜面上。从天文数字的语料中提炼出来的,就是注意力。大模型在生成“成功、乃是、失败、之”之后,它的所有注意力,都瞄准了那个“母”字。 这是凝固的注意力,是僵尸注意力。而人脑的注意力是:我让你闭上眼睛,不许低头的情况下,告诉我,你手腕上的表丢了没有。这时候,你调动你的注意力,开始感受你手腕上传来,表的重量,你告诉我,你没有丢掉你的表。 信息的洪流从未停止向你的大脑输入!我不问你的时候,你的皮肤上,由表的重量传递而来的微弱压力,和那个“戴着那块表的感觉”,从未停止向你的大脑发送信号。只不过,你的大脑,选择了忽略这些输入。 忽略!伟大的忽略。 而神经网络,会处理输入它的一切垃圾,每时每刻,全量处理每一个细节。你在提示词里输入的任何一个,垃圾小逗号,都会影响最终输出的走向。 人在火车上,那么吵的环境,竟然能睡着。人在旱厕里,闻久了臭味,竟然觉得,没那么臭了?那是因为,花多了不香,屎多了不臭——重复信号多了,则降低它的权重! 动态注意力,动态权重。动态注意力,动态权重。 相比之下,预训练是什么意思?是创造了一个,”臭就是永远臭,香就是永远香“的灵魂。说白了,创造傻子。
#人工智能
#注意力机制
#人脑vs神经网络
#动态注意力
#预训练
分享
评论 0
0
个人主页
通知
我的投稿
我的关注
我的拉黑
我的评论
我的点赞