当前位置： 首页 > article >正文

【nlp】4.3 nlp中常用的预训练模型（BERT及其变体）

article 2025/1/21 22:06:14

nlp中常用的预训练模型

  • 1 当下NLP中流行的预训练模型¶
    • 1.1 BERT及其变体
    • 1.2 GPT
    • 1.3 GPT-2及其变体
    • 1.4 Transformer-XL
    • 1.5 XLNet及其变体
    • 1.6 XLM
    • 1.7 RoBERTa及其变体
    • 1.8 DistilBERT及其变体
    • 1.9 ALBERT
    • 1.10 T5及其变体
    • 1.11 XLM-RoBERTa及其变体
  • 2 预训练模型说明¶
  • 3 预训练模型的分类

1 当下NLP中流行的预训练模型¶

  • BERT
  • GPT
  • GPT-2
  • Transformer-XL
  • XLNet
  • XLM
  • RoBERTa
  • DistilBERT
  • ALBERT
  • T5
  • XLM-RoBER

http://www.kler.cn/a/145933.html

相关文章：

  • 大数据学习(37)- Flink运行时架构
  • [深度学习]机器学习和深度学习
  • 通过Ukey或者OTP动态口令实现windows安全登录
  • 云原生作业（四）
  • ImportError: /lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.32‘ not found
  • 【线性代数】行列式的概念
  • 【c++随笔14】虚函数表
  • S25FL系列FLASH读写的FPGA实现
  • # Panda3d 碰撞检测系统介绍
  • 离散化 与 哈希 之间的区别
  • [AutoSAR 存储] 汽车智能座舱的存储需求
  • [Docker]十一.Docker Swarm集群raft算法,Docker Swarm Web管理工具
  • itext - PDF模板套打
  • GPT4测试 — 答题能力及文档处理能力
  • 简单介绍一下js中的构造函数、原型对象prototype、对象原型__proto__、原型链
  • Linux编辑器vim
  • 阿里云MQTT: 子设备上线流程
  • MFC居中显示文字及其应用
  • Java-使用poi-tl根据word模板动态生成word
  • js逆向-某敏感网站登录参数分析
  • QT已有项目导入工程时注意事项
  • STL pair源码分析
  • Windows开启SQL Server服及1433端口
  • [蓝桥杯训练]———高精度乘法、除法
  • 『heqingchun-Ubuntu系统+x86架构+编译安装ffmpeg+带有nvidia硬件加速』
  • Linux7安装mysql数据库以及navicat远程连接mysql