辛顿说：“人们认为这些模型只是在重复它们见过的内容，但它们实际上是在进行泛化，并且能够以一种非常有创意的方式进行泛化。它们看到的所有信息都被压缩到连接权重中，而为了高效压缩，你必须找到事物之间的共通结构。” 他用一个生动的例子解释了这一点：一个AI模型如果能准确预测一句话中的下一个词，它必须对这句话背后的世界有深刻的理解。例如，当被问及“为什么堆肥堆像原子弹？”时，GPT-4能够超越字面意思，