论文笔记：Online Class-Incremental Continual Learning with Adversarial Shapley Value
这篇工作的focus 是 memory-based approach
1. 挑战/问题：
- 灾难性遗忘：深度神经网络在学习新任务时往往会忘记先前任务的知识。
- 内存和计算效率：在个人设备上执行深度学习任务时，需要最小化内存占用和计算成本。
- 数据流增量学习：模型需要能够从非独立同分布的数据流中持续学习。
2. Contribution
- 提出一种Adversarial Shapley value Experience Replay (ASER)的新颖的基于replay-based的方法。 ASER 的灵感来自于合作博弈论中使用的沙普利值 (SV) ，以将总收益公平地分配给所有参与者 。
- 在作者的 CL 设置中，使用 SV 来确定记忆样本对学习表现的贡献。还引入了用于 CL 记忆检索的 SV 的对抗性视角，旨在根据记忆缓冲区中“友好”样本的决策边界保留（以保持学习稳定性并避免遗忘）及其对“对手”的干扰来对记忆样本进行评分当前任务中的样本会破坏现有的基于记忆的类别边界（以鼓励可塑性和最佳学习）。
3. Method
- Adversarial Shapley value Experience Replay (ASER)：这是一种基于经验回放的方法，利用Shapley值来决定记忆样本对学习性能的贡献。
- 对抗性视角：引入了Shapley值的对抗性视角，以在记忆样本中找到既能够保留现有记忆类别边界，又能够最大化地干扰新任务样本的样本。
