3月4日来自IBM和MIT的研究人员介绍了对抗性对比学习

这是一种旨在解决跨任务鲁棒性可迁移性问题的新技术。基本上，通过 AdvCL 训练的模型将具有强大的对比学习的好处，而不会影响下游分类任务的效率。

“我们的方法为下游任务的微调提供了一个易于适应的鲁棒预训练模型，”范说。“这将使它们更加健壮并且更容易部署，因为我们只需要计算高效的标准线性微调来保持下游分类任务的鲁棒性，适应各种环境和下游应用程序将更加方便和高效。”

AdvCL 使用标准的对比视图生成机制，并添加了两个新元素：对抗视图和高频视图。对抗性扰动是使用一种为对比学习量身定制的新技术产生的。高频分量 (HFC) 提取图像中与特征泛化相关且更容易受到对抗性扰动的部分。与在两个视图上训练机器学习模型的标准 CL 不同，AdvCL 针对四视图对比损失优化模型。

AdvCL 的第二部分，监督刺激生成，使用聚类算法为训练示例自动生成标签。这为对比学习过程添加了一个伪监督学习组件，并有助于改善其对抗训练的结果。

“我们精心设计了对比视图来训练稳健的表示，这些表示可以通过轻量级标准线性微调保持稳健性。我们还包括伪刺激监督项以增强跨任务的鲁棒性。我们发现这两个部分对于让 CL 学习保持鲁棒性的特性都是必不可少的，”范说。

根据研究人员所做的实验，AdvCL 解决了跨任务鲁棒性可迁移性问题。它大大提高了对比机器学习模型的对抗鲁棒性，并保持了下游任务的标准准确性。该技术还有助于维护类边界，这对分类任务至关重要。AdvCL 可以证明对于依赖对比机器学习的数据受限 ML 应用程序的安全性和稳健性至关重要。

研究人员计划在未来以他们的发现为基础。“一个可能的未来方向是将 AdvCL 应用于更大规模的数据集，以学习可以泛化到各种下游数据集和不同领域(如语音或文本)的强大特征，”范说。