为什么神经网络不适合自然语言理解

2022年1月29日整理发布：过去十年人工智能的主要趋势之一是通过创建更大的深度学习模型来解决问题。这种趋势在自然语言处理中最为明显，这是人工智能最具挑战性的领域之一。

近年来，研究人员表明，向神经网络添加参数可以提高它们在语言任务上的表现。然而，理解语言的根本问题——位于单词和句子下的冰山——仍未解决。

伦斯勒理工学院两位科学家的著作《人工智能时代的语言学》讨论了当前自然语言理解 (NLU) 方法的缺点，并探索了未来开发智能代理的途径，这些智能代理可以与人类互动而不会造成挫败感或犯愚蠢的错误.

人工智能时代语言学的作者 Marjorie McShane 和 Sergei Nirenburg认为，人工智能系统必须超越语言的操纵。在他们的书中，他们证明 NLU 系统可以理解世界，向人类解释他们的知识，并在探索世界的同时学习。

机器学习不计算意义

今天，我们拥有深度学习模型，可以生成文章长度的文本序列、回答科学考试问题、编写软件源代码以及回答基本的客户服务查询。由于改进了深度学习架构(LSTM、变压器)，更重要的是，由于神经网络每年都在增长，这些领域中的大多数都取得了进展。

但是，虽然更大的深度神经网络可以为特定任务提供增量改进，但它们并不能解决更广泛的一般自然语言理解问题。这就是为什么各种实验表明，即使是最复杂的语言模型也无法解决有关世界如何运作的简单问题。

在他们的书中，McShane 和 Nirenburg 将当前 AI 系统解决的问题描述为“唾手可得”的任务。一些科学家认为，继续沿着扩展神经网络的道路前进将最终解决机器学习面临的问题。但 McShane 和 Nirenburg 认为需要解决更多基本问题。

“这样的系统不像人类：他们不知道自己在做什么以及为什么，他们解决问题的方法与人不同，他们不依赖于世界、语言或代理的模型，”他们写道。“相反，他们在很大程度上依赖于将通用机器学习算法应用于更大的数据集，并得到现代计算机惊人的速度和存储容量的支持。”

在对TechTalks的评论中，认知科学家和计算语言学家 McShane 表示，机器学习必须克服几个障碍，其中首先是缺乏意义。

“统计/机器学习 (S-ML) 方法并不试图计算意义，”McShane 说。“相反，从业者继续进行，好像语言足以代表他们的意义，但事实并非如此。事实上，当涉及到句子的完整上下文含义时，句子中的单词只是冰山一角。混淆单词的含义就像驾船驶向冰山一样令人担忧。”

在大多数情况下，机器学习系统通过缩小任务范围或扩大训练数据集来回避处理单词含义的问题。但即使一个大型神经网络设法在相当长的一段文本中保持连贯性，在幕后，它仍然不理解它产生的单词的含义。

“当然，当人们真的不知道发生了什么(例如，GPT-3 )时，他们可以构建看起来表现得很聪明的系统，”McShane 说。

一旦你向所有基于深度学习的语言模型提出一系列琐碎但相关的问题，它们就会开始崩溃，因为它们的参数无法捕捉日常生活的无限复杂性。并且在问题上投入更多数据并不是将知识明确集成到语言模型中的解决方法。

语言赋能智能代理 (LEIA)

在他们的书中，McShane 和 Nirenburg 提出了一种解决自然语言理解“知识瓶颈”的方法，而无需求助于需要大量数据的纯机器学习方法。

人工智能时代语言学的核心是呼叫语言智能代理 (LEIA) 的概念，它具有三个关键特征：

(1) LEIA 可以理解语言的上下文相关含义，并在单词和句子的歧义中导航。

(2) LEIA 可以向他们的人类合作者解释他们的想法、行动和决定。

(3) 与人类一样，LEIA 可以在与人类、其他代理和世界互动时进行终身学习。终身学习减少了对扩展智能代理知识库的持续人力需求。

LEIA 通过六个阶段处理自然语言，从确定单词在句子中的角色到语义分析，最后是情景推理。这些阶段使 LEIA 可以解决单词和短语的不同含义之间的冲突，并将句子整合到代理工作环境的更广泛上下文中。

LEIA 为他们对语言话语的解释分配置信度，并知道他们的技能和知识在哪里达到了极限。在这种情况下，他们会与人类同行(或环境中的智能代理和其他可用资源)进行交互以解决歧义。这些互动反过来又使他们能够学习新事物并扩展他们的知识。

LEIA 将句子转换为文本意义表示 (TMR)，这是对句子中每个单词的可解释和可操作的定义。根据他们的背景和目标，LEIA 确定需要跟进哪些语言输入。例如，如果维修机器人与几位人类技术人员共用一个机器维修车间，并且人类就昨天的体育比赛结果进行讨论，那么人工智能应该能够区分与其工作相关的句子之间的区别(机器维修)和那些它可以忽略的(运动)。

LEIA 倾向于基于知识的系统，但它们也在过程中集成了机器学习模型，特别是在语言处理的初始句子解析阶段。

“如果 S-ML 引擎能够提供各种类型的高质量启发式证据，我们将很乐意集成更多引擎(但是，当我们合并黑盒 S-ML 结果时，代理的置信度估计和可解释性都会受到影响)，”McShane说。“我们也期待结合 S-ML 方法来执行一些面向大数据的任务，例如通过阅读选择示例进行种子学习。”