深度学习鲁棒性、公平性和泛化性的联系
深度学习鲁棒性、公平性和泛化性的联系
- 前言
- 1 鲁棒性、公平性、泛化性本质
- 2 对抗攻击是混杂效应
- 3 因果推理角度
- 3.1 稳定学习 VS 公平性
- 3.2 后门攻击
前言
读研好不容易从边缘智能，费好大劲被允许转到联邦学习赛道，再费了好大劲和机缘巧合被允许转到可信AI赛道做公平性（一开始的时候觉得对抗样本老有意思了，但是一直不被允许做呜呜呜）。之前的一些存货陆陆续续整理出来，有的还挺有意思的，仅代表一些思考，不一定对。
1 鲁棒性、公平性、泛化性本质
这三者的本质，都是（解决）数据分布的distribution shift的问题，图片节选自李博老师的视频讲座：
2 对抗攻击是混杂效应
假设对抗攻击是混杂效应，参考自 (Adversarial Visual Robustness by Causal Intervention, arXiv 2021)，以及张含望老师讲座视频：
- AI会利用人看不见的pattern进行分类，这些pattern组成混杂因子(confounder)
- 如果训练数据和测试数据分布一样，这种混杂对于分类实际上是有利的（例如横条纹的“1”很多，横条纹是一个很有用的feature）
- 如果这种模式被攻击者利用，比如把数字1的背景换成竖着的，实现对抗攻击，让“1”被误分类为“2”这种混杂就是有害的
- DNN基于输入和输出的统计联系进行学习，不可避免地学习到了混杂这种虚假的关联
- 但是人是依据因果关联𝑋→𝑌来分类的，希望AI也专注于这种关联
这几者可以统一起来，感觉很有道理： - （a）对抗攻击：通过最大化混杂效应 𝑋 ← 𝐶 → 𝑌 𝑋\leftarrow𝐶 \rightarrow𝑌 X←C→Y来覆盖 𝑋 → 𝑌 𝑋 \rightarrow𝑌 X→Y，让预测出错
- （b）对抗训练：使用对抗样本训练，最大化在攻击 X = x + δ X=x+\delta X=x+δ下的准确率。因为攻击时使用的与训练时使用的样本相似，对抗训练防止混杂𝛿改变预测结果，阻断了 𝐶 ↛ 𝑌 𝐶 \nrightarrow 𝑌 C↛Y
- （c） 数据增强：例如用不同样本线性组合训练来增强鲁棒性，让微小的扰动 δ \delta δ只会产生较小的混杂效应，削弱 𝐶 → 𝑌 𝐶\rightarrow𝑌 C→Y的连接
- （d）生成模型：使用生成式模型，例如预测时寻找哪一个类别 𝑦 𝑖 𝑦_𝑖 yi最有可能产生能代表输入 𝑥 𝑥 x的样本，生成的过程削弱了混杂因子在原图中的影响 𝐶 ↛ 𝑋 𝐶\nrightarrow 𝑋 C↛X
- （e） 去噪：去除噪声对原图（ 𝐶 ↛ 𝑋 𝐶 \nrightarrow 𝑋 C↛X）或者预测结果的影响（ 𝐶 ↛ 𝑌 𝐶 \nrightarrow 𝑌 C↛Y）
- （f）随机平滑：加入足够大的高斯噪声，覆盖自然的和攻击的混杂影响𝑐+𝛿
3 因果推理角度
3.1 稳定学习 VS 公平性
相同点在于——都是希望缓解混杂因子C对预测结果的影响
3.2 后门攻击
