当前位置: 首页 > article >正文

GPT 1-3(速通版)

概述

发布时间线:

  • Transformer 2017 年 6 月

  • GPT1:2018 年 6 月

  • Bert: 2018 年 10 月

  • GPT2:2019 年 2 月

  • GPT3:2020 年 5 月

bert 适合较小数据集、GPT 必须要超大规模数据集才能有效。

GPT-4 未有论文。

GPT-1(2018 年 6 月)

  • GPT1 参数量:大概 1 亿参数

    • 12 层 decoder(维度 768,12 个注意力头)

  • 训练集:7000 本书籍(8 亿个单词)

GPT-2(2019 年 2 月)

  • 名称:《Language Models are Unsupervised Multitask Learners》【语言模型是无监督的多任务学习者】

  • 时间:2019 年 2 月

  • 作者:OpenAI 6 人(负责人是 ilya)

  • 代码:https://github.com/openai/gpt-2(没有提供训练代码,也没有最大号预训练模型)

  • 一段话总结 GPT-2:用的 transformer 解码器结构(48 层 decoder),15 亿参数,模型输入是文本,输出也是文本。训练数据源自 reddit 上被点赞的 4500 万个网站链接,各种筛选后获得 800 万文本,大概 40GB 文本数据量。预训练模型能够实现 zero-shot,即无需微调直接能在各种领域使用。在众多 zero-shot 领域达到 SOTA,并且这种架构的精度天花板还远未触及,只要继续去提高参数量和数据量。

GPT-3(2020 年 5 月)

模型结构跟 GPT-2 几乎完全一致,调整的部分是:采用稀疏注意力(只有临近 token 进行注意力计算)。

GPT-3 最大特点

  1. 显著提高了在零样本学习和少样本学习上的表现,它能够通过简单的提示(prompts)来执行各种任务,无需额外的训练。

GPT-3 在几十种类型任务中的平均表现(其中很多领域,few shot 能力超过其他 SOTA 模型的微调)


http://www.kler.cn/a/587912.html

相关文章:

  • 第36周:文献阅读
  • [oeasy]python074_ai辅助编程_水果程序_fruits_apple_banana_加法_python之禅
  • ssrf总结
  • Windows 上安装配置 Apache Tomcat 及Tomcat 与 JDK 版本对应
  • OpenAI定义的Agent新范式如何构建自动化系统
  • jsonl与json区别
  • 卷积神经网络(CNN)的主要架构
  • leetcode 75.颜色分类(荷兰国旗问题)
  • 【胶囊网络】完美复现Hinton论文99.23%
  • 社区版Uos20.9从源码编译QT5.15.2
  • 【商城实战(33)】解锁版本迭代与更新策略
  • 网络华为HCIA+HCIP网络基础
  • 79.ScottPlot的MVVM实现 C#例子 WPF例子
  • PPT 相关资料介绍
  • 梧桐:开发者的命令行效率应用
  • TK矩阵:引领TikTok营销的新革命
  • 第R8周:RNN实现阿尔兹海默病诊断
  • 【unity实战】用unity封装一个复杂全面且带不同射击模式的飞机大战射击系统
  • node.js-node.js作为服务器,前端使用WebSocket(单个TCP连接上进行全双工通讯的协议)
  • Linux--git