向阳乔木

向阳乔木

0 关注者

1个月前

基于王冠提到的OpenAI研究员之前在斯坦福分享的,让AI写一篇容易懂的文章。 训练GPT到底在干什么? 大多数人会说"学语言规律""预测下一个词"。 这些都对,但还不够深刻。 OpenAI的Jack Rae 在斯坦福提出了一个让人眼前一亮的视角:训练大语言模型,本质上是在做无损压缩。 很反直觉对吧? 一个175B参数的模型,怎么可能是"压缩"? 但如果你理解了这个视角,很多困惑就会豁

热门新闻