对抗性训练降低了机器人神经网络的安全性
2022年1月25日整理发布:人们对在仓库等开放式工作环境中使用自主移动机器人的兴趣日益浓厚,尤其是在全球带来的限制下。由于深度学习算法和传感器技术的进步,工业机器人变得更加通用且成本更低。
但安全和安保仍然是机器人技术的两个主要问题。奥地利科学技术研究所、麻省理工学院和奥地利维也纳工业大学的研究人员发现,目前用于解决这两个问题的方法可能会产生相互矛盾的结果。
一方面,机器学习工程师必须在许多自然示例上训练他们的深度学习模型,以确保它们在不同的环境条件下安全运行。另一方面,他们必须在对抗样本上训练相同的模型,以确保恶意行为者无法通过操纵图像损害他们的行为。
但是对抗性训练会对机器人的安全产生显着的负面影响,IST 奥地利、麻省理工学院和 TU Wien 的研究人员在一篇题为“对抗性训练还没有为机器人学习做好准备”的论文中进行了讨论。他们的论文已在国际机器人与自动化会议 (ICRA 2021) 上被接受,表明该领域需要新的方法来提高机器人中使用的深度神经网络的对抗鲁棒性,而不会降低其准确性和安全性。
对抗训练
深度神经网络利用数据中的统计规律来执行预测或分类任务。这使得它们非常擅长处理诸如检测物体之类的计算机视觉任务。但对统计模式的依赖也使神经网络对对抗样本敏感。
对抗性示例是经过巧妙修改以导致深度学习模型对其进行错误分类的图像。这通常是通过向正常图像添加一层噪声来实现的。每个噪声像素都会非常轻微地改变图像的数值,足以让人眼察觉不到。但是当它们加在一起时,噪声值会破坏图像的统计模式,从而导致神经网络将其误认为是其他东西。
对抗性示例和攻击已成为人工智能和安全会议上讨论的热门话题。人们担心,随着深度学习在机器人和自动驾驶汽车等物理任务中变得更加突出,对抗性攻击可能会成为一个严重的安全问题。然而,处理对抗性漏洞仍然是一个挑战。
最著名的防御方法之一是“对抗性训练”,这是一个在对抗性示例上微调先前训练的深度学习模型的过程。在对抗训练中,程序会生成一组被目标神经网络错误分类的对抗样本。然后根据这些示例及其正确标签对神经网络进行重新训练。在许多对抗性示例上微调神经网络将使其对对抗性攻击更加稳健。
对抗性训练导致深度学习模型预测的准确性略有下降。但是,对于它提供的对抗性攻击的鲁棒性,降级被认为是可以接受的权衡。
然而,在机器人应用中,对抗性训练可能会导致不必要的副作用。
“在许多深度学习、机器学习和人工智能文献中,我们经常看到声称‘神经网络对机器人技术不安全,因为它们容易受到对抗性攻击’来证明一些新的验证或对抗性训练方法是合理的,”Mathias Lechner , 博士 IST 奥地利的学生和该论文的主要作者,在书面评论中告诉TechTalks 。“虽然直观地说,这样的说法听起来是正确的,但这些‘鲁棒化方法’并不是免费的,而是会损失模型容量或干净(标准)准确性。”
Lechner 和该论文的其他合著者想要验证对抗性训练中干净与稳健的准确性权衡是否在机器人技术中总是合理的。他们发现,虽然这种做法提高了深度学习模型在基于视觉的分类任务中的对抗鲁棒性,但它可以在机器人学习中引入新的错误配置文件。