自监督学习使深度学习数据高效的计划

2022年1月12日整理发布：尽管深度学习对人工智能领域做出了巨大贡献，但它有一个非常错误的地方：它需要大量的数据。这是深度学习的先驱者和批评者都同意的一件事。事实上，深度学习直到几年前才成为领先的人工智能技术，因为有用数据的可用性有限以及处理这些数据的计算能力不足。

减少深度学习对数据的依赖是目前人工智能研究人员的首要任务之一。

在AAAI 会议的主题演讲中，计算机科学家 Yann LeCun 讨论了当前深度学习技术的局限性，并提出了“自我监督学习”的蓝图，即他解决深度学习数据问题的路线图。LeCun 是深度学习的教父之一，也是卷积神经网络 (CNN)的发明者，卷积神经网络是过去十年推动人工智能革命的关键要素之一。

自我监督学习是创建数据高效人工智能系统的几个计划之一。在这一点上，很难预测哪种技术会成功创造下一次人工智能革命(或者我们最终是否会采用完全不同的策略)。但这就是我们对 LeCun 总体规划的了解。

澄清深度学习的局限性

首先，LeCun 澄清了通常所说的深度学习的局限性，实际上是监督学习的局限性。监督学习是需要注释训练数据的机器学习算法的类别。例如，如果你想创建一个图像分类模型，你必须在大量标记有适当类别的图像上对其进行训练。

“[深度学习]不是监督学习。这不仅仅是神经网络。这基本上是通过将参数化模块组装成计算图来构建系统的想法，”LeCun 在他的 AAAI 演讲中说。“你不直接对系统进行编程。您定义架构并调整这些参数。可能有数十亿。”

LeCun 补充说，深度学习可以应用于不同的学习范式，包括监督学习、强化学习，以及无监督或自监督学习。

但围绕深度学习和监督学习的困惑并非没有道理。目前，大多数进入实际应用的深度学习算法都是基于监督学习模型，这充分说明了当前人工智能系统的不足。图像分类器、面部识别系统、语音识别系统以及我们每天使用的许多其他 AI 应用程序都经过数百万个标记示例的训练。

强化学习和无监督学习，其他类别的学习算法，迄今为止发现的应用非常有限。