迈向通用人工智能的下一步

假设您一生都在亚利桑那州凤凰城的道路上行驶，然后您搬到了纽约。需要重新学车吗?可能不是。您只需要更加谨慎地驾驶并适应新环境。

同样不能约说深度学习算法，人工智能的最前沿，这也是自主驾驶的主要组成部分之一。尽管近年来推动了人工智能领域的发展，但深度学习及其基础技术深度神经网络仍存在一些基本问题，无法复制人脑的一些最基本功能。

深度学习的这些挑战是众所周知的，越来越多的科学家承认这些问题可能会给人工智能的未来带来严重的障碍。

在今年的神经信息处理系统会议 (NeurIPS 2019) 上，深度学习的三位先驱之一Yoshua Bengio发表了主题演讲，阐明了可以让我们更接近人类级人工智能的可能方向。Bengio 的演讲题为“从系统 1 深度学习到系统 2 深度学习”，非常具有技术性，并借鉴了他和其他人近年来所做的研究。

深度学习在今天处于什么位置?

Bengio 在 NeurIPS 2019 的开场白中说：“有些人认为，利用我们拥有的东西，增加数据集的大小、模型大小、计算机速度可能就足够了——只是让大脑变得更大。”

这个简单的句子简洁地代表了当前人工智能研究的主要问题之一。人工神经网络已被证明在检测大量数据中的模式方面非常有效。他们可以以可扩展的方式做到这一点。在大多数情况下，增加神经网络的规模并在更大的带注释的数据集上训练它们将提高它们的准确性(尽管是以对数方式)。

这种特性造成了一种“越大越好”的心态，促使一些人工智能研究人员通过创建越来越大的人工智能模型和数据集来寻求改进和突破。

虽然可以说，大小是一个因素，而且我们仍然没有任何与人脑 1000 亿个神经元结构相匹配的神经网络，但当前的人工智能系统存在一些缺陷，无法通过将它们放大来修复。

“我们拥有以非常狭窄的方式学习的机器。他们需要比人类智能示例更多的数据来学习任务，” Bengio 说。

例如，经过训练可以玩棋盘游戏或视频游戏的AI 系统将无法做任何其他事情，甚至无法玩另一种略有不同的游戏。此外，在大多数情况下，深度学习算法需要数百万个示例来学习任务。一个例子是OpenAI 的 Dota-playing 神经网络，它需要 45,000 年的游戏时间才能击败世界冠军，这比任何一个人(或十个或一百个)一生可以玩的游戏都要多。雅集，由艾伦研究所AI开发的系统，所需要的科学文章和知识图的300千兆字节要能够回答8个年级水平的选择题科学问题。

最后，Bengio 评论说，当前的深度学习系统“犯了愚蠢的错误”并且“对分布的变化不是很稳健”。这是当前人工智能系统的主要关注点之一。神经网络容易受到对抗样本的影响，数据中的扰动会导致 AI 系统以不稳定的方式行事。

对抗性漏洞很难堵塞，并且在敏感域中尤其具有破坏性，在这些域中错误可能会产生致命的后果。

深度学习中的注意力和组合性

帮助 AI 系统更一致地运行的概念之一是它们如何分解数据并找到重要的位。该领域已经完成了一些工作，Bengio 本人参与了其中的一些工作。

该领域的一项关键工作是“注意力机制”，这是一种使神经网络能够专注于相关信息位的技术。注意力机制在自然语言处理 (NLP) 中变得非常重要，自然语言处理是处理机器翻译和问答等任务的人工智能分支。

但是目前的神经网络结构大多基于向量计算来执行注意力。数据以定义其特征的数值数组的形式表示。下一步是使神经网络能够基于名称-值对执行注意力和表示，类似于基于规则的程序中使用的变量。但它应该以深度学习友好的方式完成。

迁移学习领域已经取得了很大进展，这是将一个神经网络的参数映射到另一个神经网络的学科。但是更好的组合性可以导致深度学习系统可以提取和操作其问题域中的高级特征，并动态地使它们适应新环境，而无需额外的调整和大量数据。高效的组合是朝着无序分布迈出的重要一步。

具有因果结构的深度学习系统

众所周知，因果关系是当前机器学习系统的主要缺点之一，其中心是在数据中查找和匹配模式。Bengio 认为，拥有可以组合和操纵这些命名对象和语义变量的深度学习系统将有助于将我们推向具有因果结构的 AI 系统。

“为了促进因果结构的学习，学习者应该尝试推断出干预是什么，对哪个变量进行了改变。这是我们一直在做的事情，”他在 NeurIPS 的演讲中说道。

整个演讲包含了很多关于意识、语言在智能中的作用以及神经科学与机器学习的交叉等主题的非常有价值的信息。不幸的是，所有这些都无法在一个帖子中涵盖和解开。我建议观看整个视频(两次)。

Bengio 是众多试图将人工智能领域从预测和模式匹配转向像人类一样思考的机器的科学家之一。看看这些努力如何演变和融合将会很有趣。