【论文阅读】如何给模型加入先验知识
如何给模型加入先验知识
1. 基于pretain模型给模型加入先验
把预训练模型的参数导入模型中，这些预训练模型在另一个任务中已经p retrain好了模型的weight,往往具备了一些基本图片的能力
2. 基于输入给模型加入先验
比如说鸟类的头部是一个重要的区分部分，那么可以把模型设计的输入设计为两路输入，再把两路输入的信息融合，这样既关注了局部，又关注了整体
3. 基于模型重现给模型加入先验
尝试让模型自己发现先验知识
给鸟类的头部更多的attention
4. 基于CAM激活限制给模型加入先验
鸟出现的背景也是一个重要的参考
基于激活图，通过限制激活图的激活区域，加入目标先验
5. 基于辅助学习给模型加入先验知识
把任务分成主任务和辅助任务
总结
可以通过多种方式来选择加入自己的先验信息
给神经网络的黑盒子里加入一些认为设定的先验知识，这样往往能给task带来一定程度的提升
不过具体的task需要加入怎样的先验知识，需要如何加入先验知识还需要自己探索
https://mp.weixin.qq.com/s/r-eh7XXon96YFqSJ7xYEgw