深度学习今天处于什么位置

2022年1月12日整理发布：有监督的深度学习给了我们很多非常有用的应用，特别是在计算机视觉和自然语言处理的一些领域。深度学习在癌症检测等敏感应用中发挥着越来越重要的作用。它也被证明在问题的规模无法通过人力解决的领域非常有用，例如 -有一些警告 -审查每天发布在社交媒体上的大量内容。

“如果你从 Facebook、Instagram、YouTube 等进行深度学习，这些公司就会崩溃，”LeCun 说。“它们完全是围绕它建造的。”

但如前所述，监督学习仅适用于有足够质量数据并且数据可以捕获全部可能场景的情况。一旦经过训练的深度学习模型面对与其训练示例不同的新示例，它们就会开始以不可预测的方式表现。在某些情况下，从稍微不同的角度显示一个对象可能足以使神经网络混淆，将其误认为是其他东西。

深度强化学习在游戏和模拟中显示出显着的效果。在过去的几年里，强化学习已经征服了许多以前被认为是人工智能禁区的游戏。人工智能程序已经在星际争霸 2、Dota 和中国古代棋盘游戏围棋中击败了人类世界冠军。

但这些人工智能程序学习解决问题的方式与人类截然不同。基本上，强化学习代理从一张白纸开始，只提供了一组可以在其环境中执行的基本操作。然后让人工智能自行学习如何通过反复试验来产生最多的奖励(例如，赢得更多的比赛)。

当问题空间很简单并且您有足够的计算能力来运行尽可能多的试错会话时，这个模型就可以工作。在大多数情况下，强化学习代理需要大量的会话来掌握游戏。巨大的成本将强化学习研究限制在由富有的科技公司拥有或资助的研究实验室。

强化学习系统非常不擅长迁移学习。一个玩星际争霸 2 的机器人想要玩魔兽争霸 3，就需要从头开始训练。事实上，即使是星际争霸游戏环境的微小变化也会极大地降低 AI 的性能。相比之下，人类非常擅长从一个游戏中提取抽象概念并将其转移到另一个游戏中。

当强化学习想要学习解决无法准确模拟的现实问题时，它确实显示出了它的局限性。“如果你想训练汽车自动驾驶怎么办?并且很难准确地模拟这一点，”LeCun 说，并补充说，如果我们想在现实生活中做到这一点，“我们将不得不摧毁很多汽车。” 与模拟环境不同，现实生活不允许您快速进行实验，如果可能的话，并行实验会导致更高的成本。

深度学习的三大挑战

LeCun 将深度学习的挑战分为三个方面。

首先，我们需要开发用更少的样本或更少的试验来学习的人工智能系统。“我的建议是使用无监督学习，或者我更喜欢称其为自我监督学习，因为我们使用的算法非常类似于监督学习，基本上是在学习填补空白，”LeCun 说。“基本上，这是在学习任务之前学习代表世界的想法。这就是婴儿和动物所做的。我们在世界各地奔跑，我们在学习任何任务之前了解它是如何工作的。一旦我们对世界有了良好的表征，学习一项任务就需要很少的试验和样本。”

婴儿在出生后的头几个月会发展出重力、尺寸和物体持久性的概念。虽然关于这些能力中有多少是硬连线到大脑中以及有多少是被学习的存在争议，但可以肯定的是，我们只是通过观察周围的世界来发展我们的许多能力。

第二个挑战是创建可以推理的深度学习系统。当前的深度学习系统在推理和抽象方面出了名的差，这就是为什么它们需要大量数据来学习简单任务的原因。

“问题是，我们如何超越前馈计算和系统 1?我们如何使推理与基于梯度的学习兼容?我们如何使推理可区分?这是底线，”LeCun 说。

系统 1 是一种不需要主动思考的学习任务，例如导航已知区域或进行小计算。系统 2 是一种更积极的思维方式，需要推理。符号人工智能是人工智能的经典方法，已被证明在推理和抽象方面要好得多。

但 LeCun 并不建议像其他科学家所建议的那样回归符号 AI 或混合人工智能系统。他对 AI 未来的愿景与另一位深度学习先驱 Yoshua Bengio 的愿景更加一致，后者在 NeurIPS 2019 上介绍了系统 2 深度学习的概念，并在 AAAI 2020 上进一步讨论。然而，LeCun 确实承认“没有人有一个完全好的答案”，哪种方法将使深度学习系统能够推理。

第三个挑战是创建可以精益和计划复杂动作序列的深度学习系统，并将任务分解为子任务。深度学习系统擅长为问题提供端到端的解决方案，但非常不擅长将它们分解为特定的可解释和可修改的步骤。在创建可以分解图像、语音和文本的基于学习的 AI 系统方面取得了进展。由 Geoffry Hinton 发明的胶囊网络解决了其中一些挑战。

但是学习推理复杂任务已经超出了今天的人工智能。“我们不知道如何做到这一点，”LeCun 承认。