CVPR2021 | VMI-FGSM VNI-FGSM | 通过方差调整增强对抗攻击的可迁移性

原文链接

本文 “Enhancing the Transferability of Adversarial Attacks through Variance Tuning” 提出方差调整（variance tuning）方法，提升基于迭代梯度攻击方法生成对抗样本的转移性，在多模型设置下集成方法攻击 9 种先进防御模型成功率达 90.1% ，显著优于当前最优攻击性能。

摘要-Abstract

Deep neural networks are vulnerable to adversarial examples that mislead the models with imperceptible perturbations. Though adversarial attacks have achieved incredible success rates in the white-box setting, most existing adversaries often exhibit weak transferability in the black-box setting, especially under the scenario of attacking models with defense mechanisms. In this work, we propose a new method called variance tuning to enhance the class of iterative gradient based attack methods and improve their attack transferability. Specifically, at each iteration for the gradient calculation, instead of directly using the current gradient for the momentum accumulation, we further consider the gradient variance of the previous iteration to tune the current gradient so as to stabilize the update direction and escape from poor local optima. Empirical results on the standard ImageNet dataset demonstrate that our method could significantly improve the transferability of gradientbased adversarial attacks. Besides, our method could be used to attack ensemble models or be integrated with various input transformations. Incorporating variance tuning with input transformations on iterative gradient-based attacks in the multi-model setting, the integrated method could achieve an average success rate of 90.1% against nine advanced defense methods, improving the current best attack performance significantly by 85.1% .

深度神经网络容易受到对抗样本的影响，这些对抗样本通过难以察觉的扰动误导模型。尽管对抗攻击在白盒设置下取得了惊人的成功率，但大多数现有对抗攻击在黑盒设置下往往表现出较弱的转移性，尤其是在攻击具有防御机制的模型时。在这项工作中，我们提出了一种名为方差调整的新方法，以增强基于迭代梯度的攻击方法，并提高其攻击转移性。具体来说，在每次梯度计算迭代时，我们不再直接使用当前梯度进行动量积累，而是进一步考虑前一次迭代的梯度方差来调整当前梯度，从而稳定更新方向，避免陷入较差的局部最优解。在标准ImageNet数据集上的实证结果表明，我们的方法可以显著提高基于梯度的对抗攻击的转移性。此外，我们的方法可用于攻击集成模型，或与各种输入变换相结合。在多模型设置中，将方差调整与基于迭代梯度攻击的输入变换相结合，这种集成方法对九种先进防御方法的平均成功率可达90.1%，比目前最佳攻击性能显著提高了85.1%.

引言-Introduction

该部分主要介绍了研究背景、现有问题以及研究创新点与成果，具体如下：

1. 研究背景：深度神经网络易受对抗样本影响，这些样本添加微小扰动后与合法样本难以区分，但会导致模型预测错误。近年来，生成对抗样本受到广泛关注，因其能识别模型漏洞、帮助提升模型鲁棒性，且对抗样本在不同模型间具有转移性，可用于黑盒攻击。
2. 现有问题：在白盒攻击中，现有对抗攻击方法虽有效性高，但转移性低，尤其在攻击有防御机制的模型时表现不佳。尽管已有研究通过改进梯度计算、攻击多模型或采用输入变换等方法提升转移性，但白盒攻击和基于转移的黑盒攻击在性能上仍存在较大差距。
3. 研究创新点与成果：提出一种基于方差调整的迭代梯度方法，在每次迭代时用前一次迭代数据点邻域的梯度方差调整当前梯度，稳定更新方向，避免陷入局部最优。在ImageNet数据集上的实验表明，该方法在黑盒模型上的成功率显著高于基于动量的对抗攻击方法，在白盒模型上成功率与基线方法相近。此外，将方差调整与多种基于梯度的攻击方法结合，用于攻击集成模型，并与多种输入变换集成，能显著提高攻击转移性。在多模型设置下，集成方法攻击9种先进防御方法的平均成功率达90.1%，大幅超越基线方法。

图1：由动量迭代快速梯度符号法（MI-FGSM）[6]、Nesterov迭代快速梯度符号法（NI-FGSM）[18]、本文提出的方差调整动量迭代快速梯度符号法（VMI-FGSM）和方差调整Nesterov迭代快速梯度符号法（VNI-FGSM）在Inception-v3模型[30]上生成的对抗样本，最大扰动为$ϵ=16$。VMI-FGSM和VNI-FGSM生成的对抗样本在视觉上与其他攻击方法生成的相似，但具有更高的转移性。

相关工作-Related Work

这部分内容主要介绍了对抗攻击和对抗防御两方面的相关工作，为后续研究方法的提出和实验对比提供了基础，具体如下：

1. 对抗攻击
   • 基于梯度的攻击方法：通过改进梯度计算来提升攻击转移性。FGSM是最早的基于梯度的攻击方法，通过一步更新最大化损失函数来生成对抗样本；I-FGSM将FGSM扩展为迭代版本；MI-FGSM在I-FGSM基础上引入动量，提高了转移性；NI-FGSM采用Nesterov加速梯度进一步改进MI-FGSM的转移性。
   • 输入变换方法：通过采用多种输入变换增强攻击转移性。DIM对输入进行随机缩放和填充以计算梯度；TIM通过一组图像计算梯度，对有防御机制的黑盒模型效果良好；SIM引入尺度不变性，在一组缩放图像上计算梯度。这些输入变换方法可与基于梯度的攻击方法自然结合，组合后的CTM是当前最强的基于转移的黑盒攻击方法。
2. 对抗防御：为减轻对抗样本威胁，提出了多种方法。对抗训练将对抗样本注入训练数据提升模型鲁棒性，但计算成本高；还有利用图像变换消除对抗扰动、训练去噪器净化输入图像、采用特征挤压检测对抗样本、基于JPEG的防御压缩框架以及随机平滑训练等方法。

方法-Methodology

动机-Motivation

该部分主要阐述了研究的动机，具体内容如下：

• 迭代梯度对抗攻击与随机梯度下降的联系：作者把迭代梯度对抗攻击过程类比为随机梯度下降（SGD）优化过程。在迭代梯度对抗攻击中，每次迭代计算的梯度存在方差，就如同SGD中每次迭代使用小批量数据计算梯度导致方差较大，这使得迭代过程收敛速度慢且容易陷入局部最优解。
• 传统方差减少方法与本研究的差异：传统的方差减少方法（如SVRG、SAGA等）旨在降低训练集上的梯度方差，以加速SGD的收敛速度。但本研究的目的并非加速收敛，而是提升对抗样本的转移性。本研究利用的是输入邻域的梯度方差，而非训练集的梯度方差，并且提出的方差调整策略更加通用，不依赖于特定的模型或数据集。

基于方差调整的梯度攻击-Variance Tuning Gradient-based Attacks

该部分内容主要介绍了基于方差调整的梯度攻击方法，具体内容如下：

1. 现有方法的局限性：典型的基于梯度的迭代攻击（如I - FGSM）容易陷入局部最优和对模型 “过拟合”，MI - FGSM通过引入动量、NI - FGSM通过采用Nesterov加速梯度来改善，但它们都仅考虑优化路径上的数据点。
2. 梯度方差的定义与计算：为避免过拟合和提升攻击转移性，提出利用前一数据点邻域的梯度信息调整当前梯度。定义梯度方差为邻域内平均梯度与自身梯度的差值，即$V_{{ϵ}^{\prime }}^g(x)={\mathbb{E}}_{{\Vert x^{\prime }-x\Vert }_p<{ϵ}^{\prime }}\left[{\nabla }_{x^{\prime }}J\left(x^{\prime },y;\theta \right)\right]-{\nabla }_{x}J(x,y;\theta )$ ，实际中通过在 $x$ 邻域采样 $N$ 个点近似计算，$V(x)=\frac{1}{N}{\sum }_{i=1}^N{\nabla }_{x^i}J\left(x^i,y;\theta \right)-{\nabla }_{x}J(x,y;\theta )$ ，其中$x^i=x+r_i$，$r_i\sim U[-(\beta \cdot ϵ{)}^d,(\beta \cdot ϵ{)}^d]$。
3. 基于方差调整的攻击算法：以VMI - FGSM算法为例，在每次迭代时用前一次迭代的梯度方差$V(x_{t-1}^{adv})$调整当前梯度，稳定更新方向。该方法适用于任何基于梯度的攻击方法，可扩展到VNI - FGSM，并能与DIM、TIM和SIM等输入变换方法集成。

不同攻击的关系-Relationships among Various Attacks

该部分主要总结了各类基于FGSM的对抗攻击方法之间的关系，具体内容如下：

• 参数变化导致的攻击方法退化：本文聚焦于从FGSM衍生出的对抗攻击方法的转移性研究。当邻域上界因子 $\beta$ 设为0时，VMI-FGSM和VNI-FGSM分别退化为MI-FGSM和NI-FGSM；若衰减因子$\mu =0$，MI-FGSM和NI-FGSM又会退化为I-FGSM；当迭代次数 $T=1$ 时，I-FGSM退化为FGSM。这表明这些攻击方法在特定参数设置下存在内在联系，高级的攻击方法是在基础方法上通过调整参数和改进策略发展而来的。
• 与输入变换的集成规律：上述各类攻击方法（如FGSM、I-FGSM、MI-FGSM、NI-FGSM、VMI-FGSM、VNI-FGSM）都可以与多种输入变换方法（DIM、TIM、SIM）进行集成，从而获得更强大的对抗攻击能力。而且这些集成后的方法遵循相同的规律，通过不同的组合方式，能够在提升攻击转移性方面发挥不同的作用，为研究人员根据具体需求选择合适的攻击策略提供了参考。

图2：各种对抗攻击之间的关系。我们可以调整一些超参数的值，来建立从FGSM衍生出的攻击方法之间的联系。我们还可以将各种输入变换集成到这些基于梯度的攻击中，以进一步提高转移性。这里M(N)IFGSM表示MI-FGSM或NI-FGSM，D(T,S)I-FGSM表示DI-FGSM、TI-FGSM或SI-FGSM。

实验-Experiments

实验设置-Experimental Setup

该部分详细介绍了实验的设置情况，主要包含数据集、模型、基线和超参数四个方面，为后续实验的开展和结果分析奠定了基础：

1. 数据集：从ILSVRC 2012验证集中随机选取1000张干净图像，这些图像分属1000个类别，并且能被所有测试模型几乎正确分类。这样的数据集选择确保了实验数据的代表性和有效性，便于后续准确评估攻击方法的性能。
2. 模型：实验选用了多种模型，包括四个正常训练的网络（Inception-v3、Inception-v4、Inception-Resnet-v2和Resnet-v2 101）、三个对抗训练的模型（Inc-v3ens3、Inc-v3ens4和IncRes-v2ens），以及九个针对ImageNet数据集黑盒对抗攻击具有鲁棒性的先进防御模型（HGD、R&P、NIPS-r3、Bit-Red、JPEG、FD、ComDefend、RS和NRP）。多样化的模型选择能够全面测试攻击方法在不同类型模型上的表现。
3. 基线：选取了两种基于动量的流行迭代对抗攻击方法MI-FGSM和NI-FGSM作为基线，这两种方法相比其他白盒攻击具有更好的转移性。此外，还将本文提出的方法与多种输入变换（DIM、TIM、SIM和CTM）进行集成，以进一步验证本文方法的有效性。
4. 超参数：参考已有研究设置超参数，最大扰动$ϵ=16$，迭代次数$T=10$，步长$\alpha =1.6$ 。对于MI-FGSM和NI-FGSM，衰减因子$\mu =1.0$；DIM的变换概率设为0.5；TIM采用7×7的高斯核；SIM的缩放副本数量为5；对于本文方法，设置$N=20$，$\beta =1.5$。这些超参数的设定是实验的重要条件，对实验结果有直接影响。

攻击一个独立模型-Attack a Single Model

该部分主要进行了单模型对抗攻击实验，验证了方差调整方法的有效性，具体内容如下：

1. 实验设置：使用MI-FGSM、NI-FGSM、VMI-FGSM和VNI-FGSM这四种对抗攻击方法，在单个神经网络上进行实验。在正常训练的网络上生成对抗样本，并在七个不同的神经网络上进行测试。
2. 实验结果：从实验所得的成功率（即相应模型在对抗样本上的错误分类率）数据（见表1）来看，VMI-FGSM和VNI-FGSM在所有黑盒模型上的表现大幅优于基线攻击方法MI-FGSM和NI-FGSM；而在所有白盒模型上，VMI-FGSM和VNI-FGSM能保持较高的成功率，与基线方法相近。例如，在Inc-v3模型上生成对抗样本（所有攻击方法在该白盒模型上成功率均为100%），VMI-FGSM在Inc-v4上的成功率为71.7%，在Inc-v3ens3上为32.8%，而基线MI-FGSM在这两个模型上的成功率仅为43.6%和13.1%。
3. 结果分析：这一实验结果有力地证明了本文所提方差调整方法VMI-FGSM和VNI-FGSM的高效性，在不降低白盒攻击效果的同时，显著提升了对抗样本在黑盒模型上的攻击成功率，即提高了攻击的转移性。附录A中展示的由不同攻击方法在Inc-v3模型上生成的对抗图像，也表明这些对抗扰动难以被人察觉，但本文方法生成的对抗样本转移性更高。

表1：在单模型设置下，各种基于梯度的迭代攻击在七个模型上的成功率（%）。对抗样本分别在Inception-v3（Inc-v3）、Inception-v4（Inc-v4）、Inception-Resnet-v2（IncRes-v2）和Resnet-101（Res-101）上生成。$\ast$ 表示白盒模型。

结合输入变换进行攻击-Attack with Input Transformations

该部分主要研究了将方差调整方法与输入变换相结合对攻击转移性的影响，具体内容如下：

1. 研究背景与目的：已有研究表明，将诸如DIM、TIM和SIM等输入变换融入基于梯度的对抗攻击中，能有效提升攻击转移性。本部分旨在探究将本文提出的方差调整策略与这些输入变换相结合，是否能进一步增强攻击转移性。
2. 实验设置与结果：将方差调整方法VMI-FGSM和VNI-FGSM分别与DIM、TIM、SIM集成，并在以Inc-v3模型生成对抗样本的情况下，对其他七个模型进行攻击测试，结果（图3）显示，无论采用何种攻击算法或攻击哪个白盒模型，结合方差调整策略的方法在对抗黑盒模型时，成功率都有大幅提升，普遍比基线攻击方法高出10%-30%。此外，将方差调整方法与CTM（DIM、TIM和SIM的组合）相结合，在不同模型上的攻击成功率（表2）进一步显著提高，特别是在对抗对抗训练模型时效果更明显。
3. 结果分析：实验结果充分证明了方差调整策略与输入变换相结合，能够显著提升对抗攻击的转移性，且该方法具有高效性和泛化性，为增强对抗攻击能力提供了更有效的途径。

表3：在多模型设置下，各种基于梯度的迭代攻击在七个模型上的成功率（%）。对抗样本是在集成模型上生成的，即Inception-v3、Inception-v4、Inception-Resnet-v2和Resnet-101。

表2：在单模型设置下，由复合变换方法（CTM）增强的各种基于梯度的迭代攻击在七个模型上的成功率（%）。$\ast$表示白盒模型。

攻击集成模型-Attack an Ensemble of Models

该部分主要研究了在多模型攻击场景下，方差调整方法对提升对抗攻击转移性的作用，具体内容如下：

1. 研究背景：已有研究表明同时攻击多个模型能提升对抗样本的转移性。本部分采用集成攻击方法，融合不同模型的logit输出，探究方差调整方法在多模型设置下对攻击转移性的影响。
2. 实验设置：使用多种攻击方法（含输入变换和不含输入变换），对由四个正常训练模型（Inc-v3、Inc-v4、IncRes-v2和Res-101）集成的模型进行攻击，通过平均模型的logit输出来实施攻击。
3. 实验结果：研究发现，本文提出的VMI-FGSM和VNI-FGSM方法在对抗训练模型上，能将基线方法的转移性显著提升，相较于MI-FGSM提升超过25%，相较于NI-FGSM提升超过30%。即便使用具有良好转移性的CTM攻击，VMI-CT-FGSM和VNI-CT-FGSM仍能进一步大幅提高转移性。例如，VNI-CT-FGSM对三个对抗训练模型的成功率达到92.3%-95.5%。在白盒设置下，这些方法的成功率与基线方法相近。
4. 结果分析：该实验结果表明，方差调整方法在多模型攻击场景下，能显著提升对抗攻击的转移性，揭示了当前防御机制存在的脆弱性，也体现了该方法在不同攻击场景下的有效性和优势。

表3：在多模型设置下，各种基于梯度的迭代攻击在七个模型上的成功率（%）。对抗样本是在集成模型（即Inception - v3、Inception - v4、Inception - Resnet - v2和Resnet - 101）上生成的。

攻击先进的防御模型-Attack Advanced Defense Models

4.5. Attack Advanced Defense Models部分主要评估了所提方法在攻击先进防御模型时的有效性，具体内容如下：

1. 研究目的：为进一步验证所提方差调整方法在实际应用中的有效性，除了正常训练和对抗训练的模型外，还对九个具有先进防御机制的模型进行评估。
2. 实验设置：选取MI-CT-FGSM和NI-CT-FGSM作为对比基线，因其在现有攻击方法中转移性最佳。分别在Inc-v3模型和集成模型上生成对抗样本，测试对九个先进防御模型的攻击效果，这些防御模型包括NIPS竞赛中排名前三的HGD、R&P、NIPS-r3，以及BitRed、JPEG、FD、ComDefend、RS、NRP。
3. 实验结果：在单模型设置下，VMI-CT-FGSM和VNI-CT-FGSM平均成功率分别为66.5%和67.0% ，比基线攻击分别高出13.5%和17.5%；在多模型设置下，平均成功率分别为88.9%和90.1%，比基线攻击分别高出3.8%和6.6%。尤其值得注意的是，在多模型设置下，对于提供认证防御的随机平滑（RS）防御模型，攻击成功率超过77%；对于神经表示净化器（NRP）这种强大的防御模型，攻击成功率超过83%。
4. 结果分析：实验结果表明所提方法在攻击先进防御模型时表现优异，对多种防御模型都有较高的成功率，这为深入研究对抗攻击与防御技术提供了重要依据，同时也揭示了当前先进防御模型在面对新型攻击时存在的安全隐患。

表4：由CTM增强的各种基于梯度的迭代攻击，在九个具备先进防御机制的模型上的成功率（%）。对抗样本分别在Inception - v3模型和模型集合上生成。

超参数的消融实验-Ablation Study on Hyper-parameters

该部分主要通过消融实验，研究了超参数对基于方差调整的对抗攻击方法（VMI-FGSM和VNI-FGSM）性能的影响，具体内容如下：

1. 研究目的：探究超参数（如邻域上界因子β和采样数量N）如何影响基于方差调整的对抗攻击方法（VMI-FGSM和VNI-FGSM）的转移性，从而确定这些超参数的合适取值范围。
2. 实验设置：在Inc-v3模型上生成对抗样本，在Inc-v4和Inc-v3ens3模型上进行测试。分别改变邻域上界因子β（取值为0.5、1.0、1.5、2.0、2.5）和采样数量N（取值为10、20、30、40、50），观察不同取值下攻击方法的性能变化。
3. 实验结果：
   • 邻域上界因子β的影响：随着β增大，攻击转移性呈现先升后降的趋势。在Inc-v4和Inc-v3ens3模型上，β=1.5时攻击转移性最高。这表明β过小无法充分利用邻域梯度信息调整当前梯度，而β过大则可能引入过多噪声，对攻击转移性产生负面影响。
     
     图4：当改变邻域上界因子β时，由VMI - FGSM和VNI - FGSM在Inc - v3模型上生成的对抗样本，在其他六个模型上的成功率（%）。
   • 采样数量N的影响：当N从10增加到20时，攻击转移性显著提升；N继续增加时，转移性提升幅度逐渐减小。在大多数情况下，N=20时攻击转移性较好，进一步增加N虽然会使转移性稍有提升，但计算成本会显著增加。
     
     图5：当改变采样示例数量N时，由VMI - FGSM和VNI - FGSM在Inc - v3模型上生成的对抗样本，在其他六个模型上的成功率（%）。
4. 结果分析：综合实验结果，确定了超参数的合适取值范围，即$\beta =1.5$、$N=20$。这为实际应用中基于方差调整的对抗攻击方法选择超参数提供了参考，平衡了攻击性能和计算成本。

结论-Conclusion

文章结论部分总结了研究内容、成果及意义，强调了方法优势与未来研究方向，具体如下：

1. 研究核心内容回顾：本文致力于提升对抗攻击的转移性，通过分析发现迭代梯度对抗攻击与随机梯度下降在梯度方差上的相似性，创新性地提出利用输入邻域的梯度方差来调整当前梯度，进而改善对抗攻击的转移性。
2. 研究成果：基于方差调整策略，提出了VMI - FGSM和VNI - FGSM两种攻击方法。大量实验表明，这两种方法在单模型和多模型设置下，均展现出卓越的性能。与传统攻击方法相比，它们能显著提升对抗样本在黑盒模型上的攻击成功率，即便面对具有先进防御机制的模型，也能保持较高的攻击成功率。同时，超参数消融实验明确了 $\beta =1.5$、$N=20$为较优取值，在提升攻击转移性与控制计算成本间实现了平衡。
3. 研究意义与优势：该研究揭示了当前防御机制存在的脆弱性，凸显了方差调整策略在提升对抗攻击转移性方面的有效性与通用性。此策略不仅适用于多种基于梯度的攻击方法，还能与各类输入变换技术集成，为对抗攻击领域的研究提供了新的思路与有力的方法。
4. 未来研究方向：未来计划深入研究对抗攻击的转移性，进一步提升攻击方法的有效性。同时，探索如何提高模型对对抗攻击的鲁棒性，致力于推动对抗攻击与防御技术的共同发展。