为什么我们需要结合符号AI和神经网络
联结主义者认为,基于纯神经网络结构的方法最终将导致强大或通用的人工智能。毕竟,人脑是由物理神经元构成的,而不是物理变量和类占位符和符号。
但正如马库斯在他的文章中指出的那样,“某种形式的符号操作似乎对人类认知至关重要,例如当孩子学习抽象的语言模式时,或者像姐姐这样可以无限应用的术语的含义时家庭,或者当成年人以超出训练分布的新颖方式扩展熟悉的语言模式时。”
马库斯的前提得到了几十年来几位认知科学家的研究的支持,包括他自己的书代数思维和最近的重启人工智能。(在这方面,另一个很棒的读物是 Steven Pinker 的著作How the Mind Works的第二章,他在其中提出证据表明符号操作是大脑功能的重要组成部分。)
我们已经证明符号系统有效。它在我们周围无处不在。我们的网络浏览器、操作系统、应用程序、游戏等均基于基于规则的程序。“具有讽刺意味的是,同样的工具也用于世界上几乎所有神经网络的规范和执行,”马库斯指出。
数十年的计算机科学和认知科学已经证明,能够存储和操作抽象概念是任何智能系统的重要组成部分。这就是为什么符号操作应该成为任何强大 AI 系统的重要组成部分的原因。
“正是从那里开始,对将符号操作与深度学习等其他技术相结合的混合架构的基本需求从根本上出现了,”马库斯说。
混合人工智能系统示例
混合人工智能系统的好处在于它们可以结合神经网络和符号人工智能的优势。神经网络可以在我们从现实世界中收集的杂乱信息中找到模式,例如视觉和音频数据、大型非结构化文本语料库、电子邮件、聊天记录等。而基于规则的人工智能系统可以执行符号-对提取的信息进行操作。
尽管联结主义者对混合人工智能大肆驳斥,但仍有大量示例显示了这些系统在发挥作用时的优势。正如马库斯在他的论文中所指出的那样,“研究人员有时会构建包含符号操纵装置的系统,而没有承认(甚至考虑事实)他们已经这样做了。” Marcus 重复了几个例子,其中混合 AI 系统正在默默地解决重要问题。
一个例子是神经符号概念学习器,这是一种由麻省理工学院和 IBM 的研究人员开发的混合人工智能系统。NSCL 结合神经网络来解决视觉问答 (VQA) 问题,这是一类特别难以用纯神经网络方法解决的任务。研究人员表明,NCSL 能够以令人印象深刻的准确性解决 VQA 数据集CLEVR。此外,混合 AI 模型能够使用更少的训练数据并产生可解释的结果来实现这一壮举,解决了困扰深度学习的两个基本问题。
谷歌的搜索引擎是一种大规模混合人工智能,结合了最先进的深度学习技术(如Transformers)和符号操作系统(如知识图导航工具)。
AlphaGo是过去几年具有里程碑意义的人工智能成就之一,是符号人工智能与深度学习相结合的又一个例子。
“构建将符号方法的优势与机器学习的见解相结合的架构有很多第一步,以便开发更好的技术来从大型、通常是嘈杂的数据集中提取和概括抽象知识,”马库斯写道。
该论文更详细地介绍了混合 AI 系统的组件,以及变量绑定、知识表示和因果关系等重要元素与统计近似的集成。
“我自己打赌,任何健壮的系统都会有某种机制来绑定变量,并在绑定后对这些变量执行操作。但除非我们看,否则我们无法判断,”马库斯写道。
历史教训
值得称赞的一件事是,他坚持需要汇集人工智能的所有成就以推动该领域的发展。在过去的几年里,他几乎是单枪匹马地完成了这项工作,而人工智能领域的大多数知名人士都在驳斥重新审视符号操纵的想法。
Marcus 坚持自己的立场几乎让人想起 Hinton、Bengio 和 LeCun 在几十年来对神经网络没有兴趣的情况下如何继续推动神经网络向前发展。他们对深度神经网络的信念最终结出硕果,在 2010 年代初引发了深度学习革命,并在 2019 年为他们赢得了图灵奖。