对“预训练”的理解
预训练有什么用
传统的机器学习是偏数学的，对数据的量不做过多要求，而深度学习的项目通常是有大量的数据可供使用。
在平常的任务或者项目中，我们可能并没有大量数据，只有少量数据，在这时我们就可以通过“借用”有大数据支持的模型的参数，作为基准，这样就能提高效率和准确率。因为他们神经网络的浅层是相似的，也就是说，在任务相似的情况下，可以用已有的模型即“预训练”好的模型参数实现小数据量的模型训练。
预训练可以节省训练时间，和成本。
预训练是什么
通过一个已训练好的模型A，去完成一个小数据量的任务B，前提，任务A和任务B极其相似。
分两步
-
冻结：浅层参数不变
-
微调：浅层参数会跟着训练而改变
预训练怎么用
fairseq、transformers库