大语言模型参数传递、model 构建与tokenizer构建（基于llama3模型）
文章目录
- 前言
- 一、传递参数构建
-
- 1、构建模型参数
- 2、构建数据参数
- 3、构建训练参数
- 4、类似parse方式解析数据、模型、训练参数
- 五、构建tokenizer与model
-
- 1、tokenizer与model调用代码
- 2、tokenizer实现
- 2、model实现
前言
上一篇说到huggingface的参数传递理论方法，本篇文章应用与llama3参数构建实践代码开发。并在参数传递基础上构建模型model与tokenizer。
提示：使用huggingface方法传参与模型构建！
一、传递参数构建
参数还是很简单，一个模型参数、数据参数和trainer训练参数，我也不在解读，直接给出。
1、构建模型参数
模型参数一般都是载入模型、载入tokenizer等路径啥的，没啥说的，直接给出方法，如下：
@dataclass
class ModelArguments:
"""
Arguments pertaining to which model/config/tok