llama 2代码详解
转载自Llama 2详解+自己的理解
0 前言
因为ChatGPT3.5/4没有开源，所以本文选择Meta AI半开源的LLM 模型 Llama 2，该模型也是Hugging Face open_llm_leaderboard的榜首模型。
所谓半开源即只有inference过程没有train过程
- paper：https://arxiv.org/pdf/2307.09288
- code：https://github.com/meta-llama/llama
- 逐行注释的code：https://github.com/sunkx109/llama
1 处理流程
首先在了解Llama 2模型结构细节之前，我们先来看一看大语言模型通常的处理流程：
输入数据：LLM的输入数据是一段文本，可以是一个句子或一段话。文本通常被表示成单词或字符的序列。<