2月18日许多科学家批评依赖非常大的神经网络的人工智能系统

认为人脑的资源效率很高。大脑是一块重达 3 磅的物质，耗电量仅略高于 10 瓦。然而，深度神经网络通常需要非常大的服务器，可以消耗数兆瓦的功率。

但抛开硬件不谈，将大脑的组成部分与人工神经网络进行比较则描绘了一幅不同的画面。最大的深度神经网络由几十亿个参数组成。相比之下，人脑由大约 1,000 万亿个突触组成，相当于 ANN 参数的生物学。此外，大脑是一个高度并行的系统，这使得很难将其功能与人工神经网络的功能进行比较。

普林斯顿大学的研究人员在他们的论文中写道：“尽管大脑肯定会受到布线和代谢的限制，但只要我们对所讨论的计算机制知之甚少，我们就不应提出计算资源稀缺的论据。”

另一个论点是，与人工神经网络相比，人脑的生物神经网络的输入机制非常差，不具备摄取和处理大量数据的能力。这使得人类大脑在不学习基本规则的情况下学习新任务是不可避免的。

公平地说，计算进入大脑的输入是复杂的。但我们经常低估我们处理的海量数据。“例如，我们每年可能会接触到许多日常类别的数千个视觉样本，并且每个类别可能会在每次遭遇中以数千个视图进行采样，从而为视觉系统提供丰富的训练集。同样，在语言方面，研究估计一个孩子每年接触数百万个单词，”该论文的作者写道。

超越系统 1 神经网络

然而，不可否认的一件事是，人类实际上确实从环境中提取规则并发展出抽象的思想和概念，用于处理和分析新信息。这种复杂的符号操作使人类能够在不同任务之间进行比较和类比，并执行有效的迁移学习。理解和应用因果关系仍然是人类大脑的独特特征之一。

“毫无疑问，人类可以学习抽象规则并以超越现代人工神经网络的方式推断新的上下文。微积分也许是学习在不同环境中应用规则的最好例子。发现物理学中的自然规律是另一个例子，你可以从一组有限的观察中学习一个非常普遍的规则，”哈森和纳斯塔斯说。

这些能力不是来自单个神经网络的激活和交互，而是许多思想和世代积累知识的结果。

Hasson 和 Nastase 承认，这是直接拟合模型的不足之处。在科学上，它被称为系统1和系统2思维。System 1指的是可以通过死记硬背来学习的任务，例如识别人脸、走路、跑步、驾驶。您可以下意识地执行大部分这些功能，同时还可以执行其他一些任务(例如，同时走路和与其他人交谈、开车和听收音机)。然而，系统 2 需要集中注意力和有意识的思考(你能在慢跑时解微分方程吗?)。

“在论文中，我们将快速和自动的系统 1 能力与缓慢和深思熟虑的认知功能区分开来，”Hasson 和 Nastase 说。“虽然直接拟合让大脑能够胜任，但对它学到的解决方案视而不见(类似于生物学中所有进化的功能解决方案)，虽然它解释了系统 1 学习在许多环境中感知和行动的能力，但它仍然并没有完全解释归因于系统 2 的人类功能子集，这似乎对世界的底层结构有了一些明确的理解。”

那么我们需要什么来开发具有 System 2 能力的 AI 算法呢?这是研究界争论不休的一个领域。包括深度学习先驱 Yoshua Bengio在内的一些科学家认为，纯基于神经网络的系统最终会导致 System 2 级别的 AI。该领域的新研究表明，先进的神经网络结构体现了以前被认为是深度学习禁区的符号操作能力。

在“直接适应自然”中，作者支持基于纯神经网络的方法。在他们的论文中，他们写道：“虽然人类的思维启发我们去触摸星星，但它基于系统 1 的数十亿个直接拟合参数。因此，直接拟合插值不是最终目标，而是开始理解高阶认知架构的要点。系统 2 没有其他基质可以产生。”

另一种观点是创建将经典符号 AI与神经网络相结合的混合系统。该领域在过去一年备受关注，有几个项目表明基于规则的人工智能和神经网络可以相辅相成，创造出比各部分相加更强大的系统。

“尽管非神经符号计算——在冯诺依曼的控制单元和算术逻辑单元模型中——本身很有用，并且可能在某种描述水平上相关，但人类系统 2 是生物进化的产物并从神经网络中出现，”Hasson 和 Nastase 在他们对TechTalks的评论中写道。

在他们的论文中，Hasson 和 Nastase 扩展了一些可能为神经网络开发更高功能的组件。一个有趣的建议是为神经网络提供一个身体，让他们像其他生物一样体验和探索世界。

哈森和纳斯塔斯说：“将网络整合到一个身体中，使其能够与世界上的物体进行交互，这对于促进在新环境中的学习是必要的。” “让语言模型从文本语料库中的相邻单词中学习单词的含义会使网络暴露在高度限制和狭窄的上下文中。如果网络有一个身体并且可以以与单词相关的方式与对象和人进行交互，那么它可能会更好地理解上下文中单词的含义。与直觉相反，对神经网络施加这些“限制”(例如身体)会迫使神经网络学习更多有用的表示。”