#数据效率

avatar
看完了，放飞自我 没有预训练，训练就是推理，推理就是训练，我们所有生物都没有把这个过程分开，AI也不应该分开。 之前yann lecun说过，现在的模型的数据效率只有人类的1/1000，某种程度上，这个和模型泛化能力差是一体两面。 我觉得，最终，持续学习，记忆，泛化能力，数据效率，所有这些问题我们会发现，都是同一个问题的不同表现形式。 我们未来会发现，对所有这些问题的解决方案会是非常的简洁，就像我们在上一波ML浪潮中面对的最大的敌人：常识，的解决方案非常简单一样。我们下一波的解决方案也会非常简单，最关键的是，容错性会非常高。大自然各种不同的生物，大脑长得奇形怪状什么样子都有，但是它们都可以在自然界生存，都可以捕食，躲避天敌。现在的模型在数学上都过于fancy了，最终的结局都会像SVM一样，数学上很漂亮，但是还是会被扫进历史的垃圾桶，简单的东西才是最美的。 我们人类的“绝妙的视觉先验”绝无可能保存在DNA中，DNA根本没有空间编码信息量那么高的世界模型。 我怀疑脑区的产生源自于大脑皮层如何连接各种感官的，眼睛传入的视觉信号不断刺激一部分神经元，使其兴奋，并让周围的神经元产生共振，形成脑区。 大脑初始状态应该是没有结构的，是由信号刺激形成的结构，所以神经网络的架构也应该是是涌现的才对，现在这么多复杂的结构也将是一个bitter lesson。
#AI浪潮：重塑就业，风险暗涌？· 135 条信息
#AI #持续学习 #数据效率 #模型泛化 #神经网络架构