大语言模型参数传递、model 构建与tokenizer构建(基于llama3模型)
文章目录
- 前言
- 一、传递参数构建
-
- 1、构建模型参数
- 2、构建数据参数
- 3、构建训练参数
- 4、类似parse方式解析数据、模型、训练参数
- 五、构建tokenizer与model
-
- 1、tokenizer与model调用代码
- 2、tokenizer实现
- 2、model实现
前言
上一篇说到huggingface的参数传递理论方法,本篇文章应用与llama3参数构建实践代码开发。并在参数传递基础上构建模型model与tokenizer。
提示:使用huggingface方法传参与模型构建!
一、传递参数构建
参数还是很简单,一个模型参数、数据参数和trainer训练参数,我也不在解读,直接给出。
1、构建模型参数
模型参数一般都是载入模型、载入tokenizer等路径啥的,没啥说的,直接给出方法,如下:
@dataclass
class ModelArguments:
"""
Arguments pertaining to which model/config/tok