2月18日如何将神经网络直接拟合到问题域

研究人员指出：“问题空间的密集采样可以彻底颠覆预测问题，将基于外推的问题转变为基于插值的问题。”本质上，只要有足够多的样本，您就可以捕获问题域中足够大的区域。这使得可以通过简单的计算在样本之间进行插值，而无需提取抽象规则来预测超出训练示例域的情况的结果。

“当数据结构复杂且多维时，能够在现实世界参数空间内进行基于插值的预测的‘无意识’直接拟合模型比传统的理想拟合显式模型更可取，因为传统的理想拟合显式模型无法解释数据，”“直接适应自然”的作者写道。

随着计算硬件的进步，超大数据集的可用性使得在过去十年中创建直接拟合人工神经网络成为可能。互联网上有来自不同领域的各种数据。科学家们从维基百科、社交媒体网络、图像存储库等中创建了大量的深度学习数据集。物联网(IoT)的出现也使得从物理环境(道路、建筑物、天气、身体等)中进行丰富的采样成为可能。

在许多类型的应用程序(即监督学习算法)中，收集到的数据仍然需要大量的体力劳动才能将每个样本与其结果相关联。但尽管如此，大数据的可用性使得将直接拟合方法应用于无法用少量样本和一般规则表示的复杂领域成为可能。

反对这种方法的一个论据是“长尾”问题，通常被描述为“边缘情况”。例如，在图像分类中，突出的问题之一是ImageNet等流行的训练数据集提供了数百万张不同类型对象的图片。但由于大多数照片是在理想的照明条件下并从传统角度拍摄的，因此在这些数据集上训练的深度神经网络无法识别那些处于罕见位置的物体。

“长尾巴本身并不属于新的例子，而是低频或奇怪的例子(例如椅子的奇怪视图，或形状像不相关物体的椅子)或在新的环境中骑行(如驾驶暴风雪或爆胎)，”该论文的共同作者，心理学系和普林斯顿神经科学研究所教授 Uri Hasson 和普林斯顿神经科学研究所博士后研究员 Sam Nastase在书面评论中告诉TechTalks 。“请注意，包括人在内的生物有机体，如 ANN，不善于推断他们从未经历过的环境;例如，许多人在第一次在雪地中驾驶时就惨遭失败。”

许多开发者试图通过盲目地向训练数据集中添加更多样本来使他们的深度学习模型更加健壮，希望能涵盖所有可能的情况。这通常不能解决问题，因为采样技术不会扩大数据集的分布，并且边缘情况仍然未被容易收集的数据样本所覆盖。Hasson 和 Nastase 认为，解决方案是通过为目前在分布尾部表现不佳的人工神经网络提供更生态、更具体的采样机制来扩大插值区。

“例如，经典人类视觉心理物理学中的许多奇怪现象都可以通过允许观察者简单地移动并主动采样环境来轻松解决(基本上所有生物有机体都会这样做)，”他们说。“也就是说，长尾现象部分是抽样缺陷。然而，解决方案不一定只是更多的样本(这在很大程度上将来自分布主体)，而是需要在生物有机体中观察到更复杂的样本(例如寻求新奇事物)。”

这一观察结果与最近的研究一致，该研究表明采用更多样化的采样方法实际上可以提高计算机视觉系统的性能。

事实上，从长尾采样的需求也适用于人脑。例如，考虑一下对自动驾驶汽车的经常提到的批评之一，即认为他们的能力仅限于他们接受过培训的环境。

“即使是最有经验的司机也会发现自己处于一个不知道如何行动的新环境中。关键不是训练一辆万无一失的汽车，而是一辆可以像人类一样在 99% 的环境中驾驶的自动驾驶汽车。鉴于驾驶环境的多样性，这并不容易，但也许是可行的，”Hasson 和 Nastase 说。“我们经常高估生物神经网络的泛化能力，包括人类。但是大多数生物神经网络都相当脆弱。例如，考虑将海洋温度提高 2 度将对整个生态系统造成严重破坏。”