当前位置: 首页 > article >正文

Bert的一些理解

Bert的一些理解

    • Masked Language Model (MLM)
    • Next Sentence Prediction (NSP)
    • 总结

参考链接1
参考链接2

BERT 模型的训练数据集通常是以预训练任务的形式来构建的,其中包括两个主要任务:Masked Language Model (MLM)Next Sentence Prediction (NSP)。下面简要介绍这两个任务在数据集中的格式:

Masked Language Model (MLM)

  • 在 MLM 中,输入文本会被处理为一组 token 序列,其中一些 token 会被随机选择并替换为特殊的 [MASK] 标记。
  • 数据集中的每条样本是一个包含 [CLS] 句子 A [SEP] 句子 B [SEP] 的序列。
  • 句子 A 和句子 B 可能是相邻的句子,也可能是来自不同文本的句子。
  • 对于每个样本,一部分 token 会被随机选择并替换为 [MASK] 标记。
  • 训练时,BERT 模型需要预测这些被遮挡的 token。

举个例子
在这里插入图片描述

Next Sentence Prediction (NSP)

  • NSP 任务通过判断两个句子是否在原始文本中相邻来训练模型,以帮助提高模型在理解句子之间关系方面的能力。
  • 数据集中的每条样本由一对句子组成,包括正例 (IsNext) 和负例 (NotNext)。
  • 正例是原始文本中相邻的两个句子,负例是从其他地方抽取的两个不相邻的句子。
  • BERT 模型需要通过 NSP 任务来预测这对句子是否是相邻的。

举个例子:
对于每一个训练样例,我们在语料库中挑选出句子A和句子B来组成,50%的时候句子B就是句子A的下一句(标注为IsNext),剩下50%的时候句子B是语料库中的随机句子(标注为NotNext)。接下来把训练样例输入到BERT模型中,用[CLS]对应的C信息去进行二分类的预测。

因此,BERT 模型的训练数据集会以一定格式准备包含上述任务的样本,以便模型在预训练阶段学习语言表示。这种训练数据集的设计有助于提高模型对语言理解和推理的能力。

总结

在这里插入图片描述


http://www.kler.cn/a/274667.html

相关文章:

  • Elasticsearch-分词器详解
  • 在安卓Android应用中实现二维码图像的保存与条形码文本合并
  • Spring整合Redis基本操作步骤
  • MySQL 主从复制与高可用
  • 如何缩放组件
  • maven-resources-production:ratel-fast: java.lang.IndexOutOfBoundsException
  • 同步方法和同步块,哪个是更好的选择?什么是线程同步和线程互斥,有哪几种实现方式?
  • (简单成功)Mac:命令设置别名
  • 原生html vue3使用element plus 的树tree上移下移案例源码
  • 轻松解锁微博视频:基于Perl的下载解决方案
  • java算法题每日多道
  • 行业模板|DataEase制造行业大屏模板推荐
  • Angular进阶之八: Angular Animation在项目中的实践经验
  • 【leetcode热题】二叉搜索树迭代器
  • Rust 中Self 关键字的两种不同用法
  • 微信小程序 canvas层级过高覆盖原生组件
  • Linux 服务升级:MySQL 主从(半同步复制) 平滑升级
  • 【linux】Debian访问Debian上的共享目录
  • 【生活知识-茶叶】
  • kafka2.x版本配置SSL进行加密和身份验证
  • MacOS Xcode 使用LLDB调试Qt的 QString
  • 使用华为云HECS服务器+nodejs开启web服务
  • Flutter-底部弹出框(Widget层级)
  • 20240319在WIN10下给K6000按照驱动程序
  • MySQL 搭建双主复制服务 并 通过 HAProxy 负载均衡
  • 动态规划练习第一天