人工神经网络必须如何进化
2022年1月26日整理发布:“先天机制的重要性表明,解决新问题的 ANN 应该尽可能地尝试建立在解决先前相关问题的解决方案的基础上,”Zador 写道。
人工智能研究人员已经设计了迁移学习技术,将一个训练有素的神经网络的参数权重转移到另一个。迁移学习有助于减少为新任务训练神经网络所需的时间和新数据样本的数量。
但是人工神经网络之间的迁移学习并不类似于动物和人类之间通过基因传递的那种信息。“而在迁移学习中,人工神经网络的整个连接矩阵(或其中很大一部分)通常用作起点,而在动物大脑中,代代相传的信息量较小,因为它必须通过瓶颈基因组,”扎多尔写道。
人工神经网络目前缺少的另一件事是架构优化。通过盲目的进化机制,基因组学会优化大脑的结构和布线规则,以更好地解决每个物种的具体问题。另一方面,人工神经网络仅限于优化其参数。他们没有递归的自我改进机制,可以让他们创建更好的算法。对其架构的更改必须来自外部(或有限的超参数调整技术,例如网格搜索和 AutoML)。
可能类似于基因组进化优化的一件事是不同 ANN 架构的发明,例如卷积神经网络、循环神经网络、长短期记忆网络、胶囊网络、变形金刚等。这些架构有助于创建有效解决不同问题的网络。但它们并不完全是基因组的作用。
“所有这些新架构都令人印象深刻,但我不确定它们与进化中出现的架构有多么相似,” Zador在书面评论中告诉TechTalks 。“进化的关键是需要将架构压缩成基因组。这种‘基因组瓶颈’充当正则化器,并迫使系统捕捉任何架构的基本元素。”
其他科学家建议将神经网络与其他人工智能技术相结合,例如符号推理系统。事实证明,混合 AI 方法比纯神经网络的数据效率更高,目前是 MIT-IBM Watson AI Lab 等不同研究小组的重点。
然而,Zador 对这种方法持怀疑态度,并认为人工神经网络更有可能发展人工智能。“尽管人工神经网络的处理元素比真正的神经元简单——例如,它们没有树突——但我认为它们可能已经足够接近了。人工神经网络是通用逼近器这一事实具有启发性,”他在评论中说。
然而,他在完成论文时提醒我们,归根结底,动物大脑的研究可能不是人工智能问题的全部答案。
“有时被误导为‘通用人工智能’的东西——根本不是通用的;它非常严格地与人类能力相匹配,以至于只有结构类似于大脑的机器才能实现它,”他写道。