LLM 架构
LLM 分类 :
- 自编码模型 (encoder) : 代表模型 : BERT
- 自回归模型 (decoder) : 代表模型 : GPT
- 序列到序列模型 (encoder-decoder) : 代表模型 : T5
自编码模型 (AutoEncoder model , AE)
- 代表模型 : BERT (Bidirectional Encoder Representation from Transformers)
- 特点 : Encoder-Only
- 基本原理 : 在输入中随机 MASK 掉一部分单词，根据上下文预测这个词
- 应用场景 : 内容理解任务，如 : 自然语言理解 (NLU )中的分类任务 (情感分析、提取式问答等 )
自回归模型 (Autoregressive model , AR)
- 代表模型 : GPT
- 特点 : Decoder-Only
- 基本原理 : 从左往右学习的模型，只能利用上文或 下文的信息
- 应用场景 : 生成式任务，如 : 自然语言生成 (NLG )领域的任务 (摘要、翻译、抽象问答等 )
序列到序列模型 (Sequence to Sequence Model)
- 代表模型 : T5
- 特点 : 同时使用编码器和解码器
- 基本原理 : 将每个 task 视作序列到序列的转换/ 生成
- 应用场景 : 需要内容理解和生成的任务，如 : 机器翻译
发展图 :
