当前位置：首页 > article >正文

动手学深度学习69 BERT预训练

article 2024/11/15 1:25:38

1. BERT

在这里插入图片描述

3亿参数 30亿个词

在输入和loss上有创新
两个句子拼起来放到encoder–句子对
cls-class分类
sep-seperate 分隔符分开每个句子告诉是哪个句子两个句子给不同的向量
位置编码不用sin cos，让网络自己学习
在这里插入图片描述

bert–通用任务
encoder 是双向的，两个方向的信息都可以看到
预测mask是谁。
改动：让模型在做微调的时候不要看到mask就做预测

在这里插入图片描述

4. QA

在这里插入图片描述
1 对每个词每个token 学习一个固定长度的向量
2 bert 用一个词段做向量表示
3 15% 中的10%
4 大量用在cv上，图片可以扣很多小块出来，是有空间关系的，模拟语言模型的关系
6 用小一点的bert模型；多用几个卡；每个gpu存一部分的模型。
7 gpt等预训练任务本身都会有改进
8 bert之后的论文
在这里插入图片描述