当您查看GAN内部时您会看到什么
Bau 说:“在神经网络中编码事物的方式数量之多,这也是之前让人们感到恐惧的事情之一。”深度学习算法和神经网络学习非常有效地做事,但它们做事的方式不一定能被人类解释。神经网络由成千上万个变量组成,也称为“神经元”或“单元”,它们结合起来解决问题。一般的假设是,如果您查看神经网络内部,您将找不到太多有意义的东西。
但麻省理工学院和 IBM 的研究人员并没有采取复杂的方法来破译 GAN 的内部运作,而是做了很多人认为荒谬的事情。他们直接寻找对人类有意义的概念。
“这相当于打开电脑后部,询问是否有一根电线对应一个人的鼻子或头发?” Bau 说,并补充说大多数人会正确地认为这是一个荒谬的问题。
为了探索 GAN,研究人员使用了一种称为“网络剖析”的过程,即针对图像和概念数据库测试 GAN 中的神经元。
“我们探测整个网络中的每一个神经元,我们有一个包含数百或大约一千个概念的大型字典。我们在成百上千张图像上对其进行测试,并将数千个概念与数千张图像和神经网络内的数万个变量相关联,”Bau 说。
结果是一个将神经元映射到输入概念的矩阵。为了验证结果的有效性,研究人员手动测试输出映射,以确保建立的相关性没有问题和不合逻辑。
令他们惊讶的是,研究人员发现,对于许多概念,网络使用的简单编码和逻辑非常类似于人类推理。例如,他们发现存在直接对应于“树”或“门”或其他已知对象的变量。因此,每当 GAN 绘制一棵树或一扇门时,这些特定的神经元就会被激活。
“这是我们研究的最大惊喜。我们观察了单个神经元,发现它们对应于人类可解释的对象。我们发现了一个与树木相关的神经元——人类称之为树木。寻找它是非常幼稚的,但有时你可以通过提出非常愚蠢的问题来解锁新的研究,”Bau 说。