llaMa模型的创新
LLaMa介绍
LLaMa是基于transformer encoder的生成式模型。
目前有：LLAMA, LLAMA2, LLAMA3 三个大的版本
论文
LLAMA 2: Open Foundation and Fine-Tuned Chat Models： https://arxiv.org/pdf/2307.09288
LLAMA 3: The Llama 3 Herd of Models https://arxiv.org/pdf/2407.21783
模型：
主要创新
-
Pre-Normalization（Pre-Norm，层前归一化）
-
RMSNorm（Root Mean Square Layer Normalization，均方根层归一化）：
-
旋转位置编码（RoPE）
-
稀疏注意力（Sparse Attention）
-
SwiGLU激活函数：
-
grouped-query attention (GQA)
-
长上下文：
训练
LLAMA 7B训练18万+小时