TIP2022 | DRA | 从分布的角度理解和提升对抗性迁移性

论文链接

本文 “Toward Understanding and Boosting Adversarial Transferability From a Distribution Perspective” 从数据分布视角研究对抗样本转移性，提出通过改变样本分布可增强转移性，进而提出 DRA 方法，经实验验证其在非目标性和目标性攻击场景下均有优异表现

摘要-Abstract

Transferable adversarial attacks against Deep neural networks (DNNs) have received broad attention in recent years. An adversarial example can be crafted by a surrogate model and then attack the unknown target model successfully, which brings a severe threat to DNNs. The exact underlying reasons for the transferability are still not completely understood. Previous work mostly explores the causes from the model perspective, e.g., decision boundary, model architecture, and model capacity. Here, we investigate the transferability from the data distribution perspective and hypothesize that pushing the image away from its original distribution can enhance the adversarial transferability. To be specific, moving the image out of its original distribution makes different models hardly classify the image correctly, which benefits the untargeted attack, and dragging the image into the target distribution misleads the models to classify the image as the target class, which benefits the targeted attack. Towards this end, we propose a novel method that crafts adversarial examples by manipulating the distribution of the image. We conduct comprehensive transferable attacks against multiple DNNs to demonstrate the effectiveness of the proposed method. Our method can significantly improve the transferability of the crafted attacks and achieves state-of-the-art performance in both untargeted and targeted scenarios, surpassing the previous best method by up to 40% in some cases. In summary, our work provides new insight into studying adversarial transferability and provides a strong counterpart for future research on adversarial defense.

近年来，针对深度神经网络（DNN）的可转移性对抗攻击受到了广泛关注。对抗样本可以由替代模型生成，然后成功攻击未知的目标模型，这给DNN带来了严重威胁。然而，对抗样本可转移性的确切潜在原因仍未完全明晰。以往的研究大多从模型的角度探究其原因，例如决策边界、模型架构和模型容量等方面。在本文中，我们从数据分布的角度研究对抗样本的可转移性，并假设将图像推离其原始分布可以增强对抗样本的可转移性。具体而言，将图像移出其原始分布会使不同的模型难以正确分类该图像，这有利于非目标性攻击；而将图像拖入目标分布会误导模型将图像分类为目标类别，这有利于目标性攻击。为此，我们提出了一种通过操纵图像分布来生成对抗样本的新方法。 我们对多个DNN进行了全面的可转移性攻击实验，以证明所提方法的有效性。我们的方法能够显著提高所生成攻击的可转移性，在非目标性和目标性攻击场景下均达到了最先进的性能，在某些情况下比之前最好的方法高出40%。总之，我们的工作为研究对抗样本的可转移性提供了新的视角，也为未来的对抗防御研究提供了有力的参考。

引言-Introduction

这部分内容主要介绍了研究背景、现有研究不足以及本文的研究方向和贡献，具体如下：

1. 研究背景：深度神经网络（DNNs）在人脸识别、自动驾驶和语音识别等领域取得成功，但存在安全隐患。对抗样本能使DNNs出现错误分类，且具有跨模型转移性，可让攻击者用替代模型生成的对抗样本攻击未知目标模型，这一现象引发广泛关注，其研究有助于理解深度学习模型、开发防御策略及评估模型脆弱性。
2. 现有研究不足：过去对对抗转移性的理解多从模型角度出发，如决策边界、模型架构和测试精度等，这些理解推动了相关方法的发展，如数据增强、模型架构修改和对抗样本微调等。然而，这些方法在非目标性攻击场景有效，在目标性攻击场景中性能受限。
3. 本文研究方向和贡献：从数据分布角度研究对抗转移性，提出新假设，即推动图像远离原始分布可增强对抗转移性，移出原始分布利于非目标性攻击，拖入目标分布利于目标性攻击。为此提出分布相关攻击（DRA）方法，通过实验验证其在非目标性和目标性攻击场景下的有效性，能显著提升攻击迁移性，部分情况下超越先前最佳方法40%，为研究对抗迁移性提供新视角，为对抗防御研究提供参考。

图1. 普通投影梯度下降（PGD）攻击和我们的分布相关攻击所生成的目标性对抗样本的对比。为便于观察，我们将每个像素值在[0, 1]范围内的最大允许对抗扰动设置为$ϵ=32/255$ 。每张图最左边一列展示的是原始图像（树蛙），其他列展示的是在不同攻击强度下的对抗图像（目标类别：玉米）。最右边一列放大了对抗样本中的方形区域。

图2. 在ResNet-50（a）和DenseNet-121（b）上，分布内图像（ImageNet）以及由原始PGD攻击和我们的DRA生成的非目标行对抗样本的Energy OOD分数分布。OOD分数低于干净图像的样本被视为分布外（OOD）样本，而能量分数较高的样本被视为分布内（ID）样本。

相关工作-Related Work

这部分内容主要回顾了与对抗攻击相关的文献，将对抗攻击分为白盒攻击和黑盒攻击，并重点介绍了黑盒攻击中的迭代方法和生成方法，具体如下：

1. 对抗攻击分类：根据对目标模型的访问权限，对抗攻击可分为白盒攻击和黑盒攻击。白盒攻击假设攻击者能完全访问目标模型的结构和参数，典型的白盒攻击有FGSM、BIM、PGD等；黑盒攻击假设攻击者仅知道目标模型的输出（预测结果或置信度），包括基于查询的攻击和转移攻击，本文聚焦于利用对抗样本转移性、无需查询目标模型的攻击方法。
2. 迭代方法：迭代方法通过攻击替代模型并利用梯度信息迭代更新扰动来生成对抗样本。虽然在白盒攻击场景中表现良好，但在黑盒攻击场景下转移能力较低。为提升其对抗转移性，研究人员提出多种方法，如稳定更新方向（如将梯度动量融入扰动更新、采用Nesterov加速梯度）、数据增强（在攻击时对输入图像进行随机变换、使用输入图像的缩放副本等）、特定模型改进（如对特定层增加扰动微调对抗样本、减少残差模块梯度、适当增加DNNs线性度等）。然而，这些方法在目标性攻击场景下性能严重下降。
3. 生成方法：生成方法利用生成模型生成目标性的对抗扰动，通常比迭代方法表现更好，但需要训练与标签数量相同的生成模型。例如，Poursaeed等人通过交叉熵损失训练生成模型对抗替代分类器；Naseer等人使用相对论交叉熵损失提升生成模型性能，还提出在生成训练中使扰动图像的分布与目标类在替代分类器潜在空间中的分布相匹配，以减少对替代分类器类边界信息的依赖，虽能成功为图像印上目标分布特征，在目标性攻击中表现出色，但在大规模数据集上为每个类训练生成器的成本较高。
4. 与本文方法对比：与现有迭代方法不同，DRA关注替代模型中与分布相关的信息，而非改进迭代算法或进行数据增强，克服了迭代攻击在目标性攻击场景中转移性低的问题。生成方法旨在学习对抗扰动的分布，DRA则聚焦于真实数据分布。实验表明，DRA在非目标性和目标性攻击场景下均显著提升了对抗转移性，超越了现有方法。

方法-Method

这部分内容主要介绍了本文提出的基于数据分布的对抗攻击方法（DRA），包括初步知识、方法动机、减小梯度距离的方法以及DRA的具体步骤，具体如下：

1. 初步知识：给定参数为 $\theta$ 的替代分类器 $f_{\theta }$、图像 $x$、标签 $y$ 和总类别数 $n$，定义了条件密度 $p_{\theta }(y|x)$ 的表达式。非目标性攻击旨在最小化 $p_{\theta }(y|x)$，目标性攻击旨在最大化 $p_{\theta }(y_{target}|x)$，转移攻击的目标是用替代模型生成的对抗样本误导目标模型。
2. 动机：现有转移攻击在生成对抗样本时，难以成功进行目标性攻击，且缺乏对为何最小化替代模型的 $p_{\theta }(y|x)$ 能欺骗不同参数和架构的目标模型的解释。本文基于机器学习中深度模型对同分布数据分类准确、对分布外数据分类困难的假设，提出从数据分布角度理解和改进对抗转移性。通过将图像移出原始分布可实现高非目标性对抗转移性，将图像拖入目标分布可实现高目标性对抗转移性。为此，借鉴得分匹配生成模型的思想，提出匹配模型对数条件密度梯度 ${\nabla }_x\text{log}{p}_{\theta }(y|x)$和真实数据分布对数梯度${\nabla }_x\text{log}{p}_D(x|y)$ ，使对抗攻击近似真实数据分布梯度方向。
3. 减小梯度距离：定义DCG（Distance between the gradient of log Conditional density and the gradient of log Ground truth class-conditional data distribution）来衡量${\nabla }_x\text{log}{p}_{\theta }(y|x)$和${\nabla }_x\text{log}{p}_D(x|y)$之间的距离。由于DCG中部分项无法直接计算，通过积分变换和Hutchinson技巧对其进行改写，得到可计算的DCG损失 $L_{DCG}$。在训练过程中，联合优化分类损失和 $L_{DCG}$ 来微调替代模型，优化目标为 $\underset{\theta }{\mathrm{minimize}}\left[\mathcal{L}\left(f_{\theta }(x),y\right)+\lambda {\mathcal{L}}_{DCG}\right]$，其中$\lambda$ 为正则化强度。通过这种方式，可使微调后的替代模型梯度更接近真实数据分布梯度，进而操纵图像分布信息。
4. 分布相关攻击（DRA）：DRA包含两个步骤，即微调替代模型减小模型梯度与真实数据分布梯度的距离，以及使用微调后的替代模型在近似真实分布梯度的指导下生成对抗扰动。
   • 非目标性攻击：在生成非目标性攻击的对抗样本时，DRA与其他迭代方法表达式相似，但攻击方向更符合数据分布梯度。DRA将图像移出原始分布生成对抗样本，而其他迭代方法关注使输入跨越分类器决策边界。实验显示，DRA生成的对抗样本被视为分布外样本，其对抗扰动集中在图像语义特征上，与PGD攻击生成的不规则扰动不同。
   • 目标性攻击：DRA的目标性攻击通过从平均图像开始生成对抗样本，使生成的扰动反映目标性分布的语义特征。与PGD攻击生成的无明显特征的扰动相比，DRA的目标性对抗扰动包含足够的目标类别特征，可能主导分类过程，使原始特征相对成为噪声。
     
     
     图3. PGD攻击和我们的DRA生成的非目标性对抗样本之间的对比。
     ( a ) 原始图像。
     ( b ) PGD攻击生成的对抗样本。
     ( c ) 将PGD扰动归一化到[0, 1]以便观察。
     ( d ) DRA生成的对抗样本。
     ( e ) 将DRA扰动归一化到[0, 1]。在推理过程中，这些对抗样本被投影到一个较小的距离内（例如，${\ell }_{\infty }ϵ\le 16/255$ ）。
     
     图4. 从平均图像生成的目标性扰动（为便于观察，此处展示的是无约束扰动）。由我们的DRA生成的扰动能够反映目标类别的语义特征，而PGD攻击生成的扰动看起来更具噪声性。

实验-Experiment

这部分主要通过一系列实验评估了所提方法DRA的性能，涵盖实验设置、非目标性攻击评估、目标性攻击评估、兼容性评估、实际应用评估以及在其他数据集上的评估，具体内容如下：

1. 实验设置

   • DRA实现细节：DRA分两步，先微调替代模型，再用其生成对抗扰动。实验主要选用PGD攻击生成扰动，在Tesla V100上运行。微调时，用SGD优化器对PyTorch预训练分类器微调20个epoch，学习率0.001，10个epoch后衰减为0.1，小批量大小32，超参数 $\lambda$ 设为6，在ImageNet训练集上微调以避免数据泄露，训练图像随机裁剪为3×224×224 。
   • 攻击设置：非目标性攻击选PGD和7种先进转移攻击方法作基线；目标性攻击选专为其设计的生成方法TTP和迭代方法Simple作基线。主要在5000张ImageNet验证集图像上评估，也在ImageNet V2和CIFAR - 10数据集上测试。
   • 威胁模型：用替代模型生成对抗样本攻击不同目标模型，攻击强度默认设置为最大允许对抗扰动 $ϵ=16/255$，非目标性攻击步长 $\alpha =2/255$，迭代10步；目标性攻击迭代300步，结果取10个不同目标类的平均值。
   • 目标与替代模型：目标模型包括12种CNN、ViT - B/16以及4种对抗训练模型和3种其他鲁棒训练模型；替代模型选5种，包括有跳跃连接、密集连接和无跳跃连接的DNN。

2. 非目标性攻击评估：DRA在非目标性攻击上远超基线方法。例如，从ResNet - 50到VGG19的转移攻击，DRA成功率达98.26% ，比PGD高45.26%，比SGM高15.54%；从ResNet - 50到ViT - B/16，DRA成功率58.46%，比之前最好的SGM高39.64%，比PGD高54.64%。在攻击安全模型时，DRA同样表现出色，如攻击ResNet - 50的不同安全版本，DRA成功率远高于其他方法。
   表Ⅰ
   对正常模型的转移性：在ResNet-50（RN50）、ResNet-152（RN152）、DenseNet-121（DN121）和DenseNet-201（DN201）上生成的黑盒攻击（非目标性）成功率。本实验的最大标准差为0.92%，远小于我们所实现的提升幅度。最佳结果以粗体显示。
   
   
   图5. 针对不同模型的转移性：基于3个模型（ResNet-50、ResNet-152和DenseNet-121）的集成生成的黑盒攻击（非目标性）成功率。横轴代表不同的目标模型。
   
   图6. 在ImageNet上非目标性转移攻击的成功率。我们使用ResNet-50作为替代模型，并选择了三个不同的目标模型。横轴表示不同的攻击强度。在针对不同目标模型的攻击中，我们的DRA方法优于其他方法。
   表Ⅱ
   对安全模型的转移性。我们通过不同方法生成非目标性对抗扰动，然后将这些扰动转移到使用不同安全方法训练的ResNet-50模型上，这些安全方法包括Augmix、Styled ImageNet和对抗样本。最佳结果以粗体显示。
   

3. 目标性攻击评估：DRA在目标性攻击上也大幅超越先前最佳的TTP方法。如从ResNet - 50到VGG19的转移攻击，DRA成功率87.80% ，比Simple高17.03%，比TTP高6.69%；从ResNet - 50到IncV3，DRA成功率75.93%，比Simple高60.43%，比TTP高29.46%。在攻击安全模型时，DRA能有效穿透防御，而Simple攻击效果不佳。
   表Ⅲ
   对正常模型的转移性：在VGG19、ResNet-50（RN50）和DenseNet-121上生成的黑盒攻击（目标性）成功率。本实验的最大标准差为0.88%，远小于我们所实现的提升幅度。最佳结果以粗体显示。
   
   表Ⅳ
   针对安全模型的转移性。我们通过不同方法生成目标性的对抗扰动，然后将这些扰动转移到采用不同安全方法训练的ResNet-50模型上，这些安全方法包括Augmix、风格化ImageNet以及对抗样本。最佳结果以粗体显示。
   

4. 兼容性评估：DRA与其他攻击方法兼容性良好，能显著提升不同基线攻击的性能。将DRA与基于输入变换的攻击方法（SI、DI）结合，比基于高级梯度的攻击方法（MI、NI、SGM）性能更好。
   表Ⅴ
   在ImageNet上，以ResNet-50（RN50）和DenseNet-121（DN121）为基础生成的非目标性黑盒攻击的成功率。本实验的最大标准差为0.96%，远小于我们所实现的提升幅度。最佳结果以粗体显示。
   

5. 实际应用评估：在攻击谷歌云视觉API的实验中，DRA在非目标性和目标性攻击上均取得最佳性能。例如，非目标性攻击成功率86.6%，目标性攻击成功率48.6%，远超PGD和Simple，表明DRA具有高实用性。
   
   图7. 我们展示出，由我们的分布相关攻击（DRA）生成的对抗扰动对人类观察者来说难以察觉，但却能成功地让谷歌云视觉（Google Cloud Vision）将图像误分类为目标类别。
   表VI
   不同攻击方法对谷歌云视觉的非目标性和目标性转移攻击成功率（%）
   

6. 其他数据集评估

   • ImageNet - V2评估：在ImageNet - V2数据集上，DRA大幅超越其他方法。如从ResNet - 50到Inception - V3的转移攻击，DRA将基线方法PGD的性能从59.47%提升到99.24%。
     表Ⅶ
     在ImageNet V2上，以ResNet - 50和DenseNet - 121为基础生成的非目标性黑盒攻击成功率。本实验的最大标准差为0.84%，远小于我们所实现的提升幅度。最佳结果以粗体显示。
     

   • CIFAR - 10评估：在CIFAR - 10数据集上，以ResNet - 18为替代模型，选择VGG19、DenseNet - 121和ShuffleNetV2为目标模型，DRA在不同攻击强度下均表现出比现有转移攻击更好的转移性。如在ResNet - 18到VGG19、攻击强度 $ϵ=4/255$ 时，DRA成功率61.97% ，比SGM高13.62%，比PGD高18.48%。
     
     图8. CIFAR - 10数据集上转移攻击的成功率。我们展示了CIFAR - 10数据集上不同方法的攻击成功率。我们使用ResNet - 18作为替代模型，并选择了三种不同的目标模型。横轴表示不同的攻击强度。在针对不同目标模型的攻击中，我们的DRA方法优于其他方法。

讨论-Discussion

这部分主要对DRA方法进行了深入探讨，涵盖对其优越性的理解、与其他微调方法的比较、超参数的影响以及t-SNE可视化分析，具体内容如下：

1. 理解DRA的优越性

   • 降低对代理模型的依赖：现有转移攻击常将代理模型过拟合视为对抗转移性的阻碍因素，致力于通过改进优化算法缓解过拟合。而DRA从数据分布角度出发，寻求不同模型间的共性，通过使模型梯度与真实数据分布梯度对齐来减轻过拟合，有效降低了对代理模型的依赖。实验显示，DRA生成的对抗扰动在不同代理模型间相关性更强，表明其受代理模型的影响更小。
   • 本质改变输入图像分布：DRA的非目标性攻击将图像移出原始分布，使得分类器难以正确分类，生成的目标性对抗样本被OOD检测方法视为分布外样本；目标性攻击则能有效将目标分布的特征迭代印刻在图像上，导致不同分类器将图像误分类为目标类，而普通PGD生成的对抗样本不包含目标类的语义特征。
     
     图9. 由替代模型ResNet - 50与ResNet - 152（a）、ResNet - 50与DenseNet - 121（b）以及DenseNet - 121与DenseNet - 201（c）生成的同一图像对抗扰动之间的皮尔逊相关系数（PCC）频率直方图。PCC越高表明正相关性越强。与其他方法生成的扰动相比，我们的DRA方法通过不同替代模型生成的扰动彼此间更为接近。

2. 与其他微调方法比较：DRA的微调旨在使对抗攻击方向与真实数据分布梯度相匹配，这与其他旨在提高模型泛化能力的微调方法不同。实验对比了不同ResNet-50模型的测试准确率和对抗转移性，结果表明DRA虽降低了代理模型的测试准确率，但极大地增强了对抗转移性，说明模型的泛化能力（测试准确率）并非对抗转移性的关键因素。
   表Ⅷ
   不同ResNet - 50模型的Top - 1测试准确率以及非目标性PGD攻击的成功率。最佳结果以粗体显示
   

3. 超参数的影响：DRA的超参数 $\lambda$ 用于调整DCG损失的强度，进而影响代理模型梯度与真实数据分布梯度之间的距离。当 $\lambda$ 小于0时，两者梯度距离增大，对抗转移性急剧下降；当 $\lambda$ 大于0时，距离减小，对抗转移性提高。然而，$\lambda$ 与对抗转移性之间并非单调关系，过大的 $\lambda$ 可能会限制模型学习分类相关特征的能力。
   
   图10. 我们展示了由不同经DRA微调模型生成对抗扰动时的攻击成功率（非目标性）。$\lambda =1.0$ 表示使用超参数 $\lambda =1$ 微调的模型。我们还展示了由不同经DRA微调模型生成的海鸥图像的对抗扰动。

4. t-SNE可视化：通过t-SNE对干净图像及其对抗样本的特征嵌入进行可视化分析，以ResNet-50为代理模型生成非目标性对抗样本，DenseNet-121为目标模型获取最终潜在表示。结果显示，与PGD和SGM相比，DRA生成的对抗样本特征与干净样本特征的分离度更明显，进一步验证了DRA的优越性。
   
   图11. t-SNE可视化。我们展示了干净图像（红色）及其对抗样本（绿色）的t-SNE图。(a) 投影梯度下降法（PGD）。(b) SGM。© 我们的分布相关攻击法（DRA）。

结论-Conclusion

这部分总结了文章在对抗样本转移性研究上的核心成果，涵盖新理解、新方法、实验结论以及研究意义，为该领域未来发展提供了方向。

1. 提出新理解：从数据分布视角对对抗转移有了新认知，发现将图像移出原始分布可增强非目标性对抗转移能力，拖向目标分布有助于提升目标性对抗转移能力。此发现为研究对抗转移提供了新方向，促使研究者从数据分布角度重新思考该现象。
2. 提出DRA方法：提出分布相关攻击（DRA）方法，利用微调后的代理模型，结合数据分布相关信息生成转移性更强的对抗图像。技术上，运用梯度匹配方法微调代理模型，使模型梯度与数据分布梯度相匹配，从而能借助模型梯度推动图像远离原始分布。
3. 实验结论：大量实验表明，DRA在非目标性和目标性攻击场景下均达到了最先进的性能。在不同模型间进行对抗攻击时，DRA的成功率显著高于现有方法；在攻击实际的计算机视觉系统（如谷歌云视觉API）时，DRA也表现出高成功率，证明了其有效性和实用性。
4. 研究意义：研究成果不仅为对抗转移的研究提供了新视角，推动了对该领域的深入探索；还为未来的对抗防御研究提供了有力参考，有助于开发更有效的防御策略，提升深度神经网络在面对对抗攻击时的安全性。