NLP常见任务专题介绍(4)-ConditionalGeneration和CasualLM区别
在 transformers
库中,ConditionalGeneration
和 CausalLM
是两种不同类型的语言模型,各自适用于不同的任务:
类别 | Conditional Generation (条件生成) | CausalLM (因果语言模型) |
---|---|---|
核心区别 | 依赖输入 条件 生成文本 | 只能 自回归 生成文本 |
训练方式 | Encoder-Decoder(编码-解码) 结构 | Decoder-only(仅解码) 结构 |
适用任务 | 翻译、摘要、文本填充 等任务 | 文本生成、对话、代码生成 |
代表模型 | BARTForConditionalGeneration T5ForC |