书生浦语XTuner 微调个人小助手
文章目录
- 一、环境配置与数据准备
- 1.构建一个xtuner环境
- 2.安装 XTuner
- 3.修改提供的数据
- 四、训练启动
- 1.模型位置
- 2.创建软连接即可
- 3.修改官方的Config
- 4.启动微调
- 4.权重转换
- 4. 模型合并
- 二、进阶任务
- 2.1 上传到 HuggingFace
一、环境配置与数据准备
XTuner 文档链接：XTuner-doc-cn
1.构建一个xtuner环境
cd ~
#git clone 本repo
git clone https://github.com/InternLM/Tutorial.git -b camp4
mkdir -p /root/finetune && cd /root/finetune
conda create -n xtuner-env python=3.10 -y
conda activate xtuner-env
2.安装 XTuner
注意：对应的torch pytorch版本，我这里的cuda镜像是12.2的
# pip install -e
#-e 表示在可编辑模式下安装项目，因此对代码所做的任何本地修改都会生效
git clone https://github.com/InternLM/xtuner.git
cd /root/finetune/xtuner
pip install -e '.[all]'
pip install torch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 --index-url https://download.pytorch.org/whl/cu121
pip install transformers==4.39.0
# 能打印如下配置列表则代表pip安装完成
xtuner list-cfg
3.修改提供的数据
3.1 创建一个新的文件夹用于存储微调数据
mkdir -p /root/finetune/data && cd /root/finetune/data
cp -r /root/Tutorial/data/assistant_Tuner.jsonl /root/finetune/data
数据格式：
3.2 创建修改脚本
# 创建 `change_script.py` 文件
touch /root/finetune/data/change_script.py
import json
import argparse
from tqdm import tqdm
# process_line就是输入每一行，然后通过递归函数处理嵌套的字典和列表，找到字符串，把对应的old_text替换为新的new_text
def process_line(line, old_text, new_text):
# 解析 JSON 行
data = json.loads(line)
# 递归函数来处理嵌套的字典和列表
def replace_text(obj):
if isinstance(obj, dict):
return {k: replace_text(v) for k, v in obj.items()}
elif isinstance(obj, list):
return [replace_text(item) for item in obj]
elif isinstance(obj, str):
return obj.replace(old_text, new_text)
else:
return obj
# 处理整个 JSON 对象
processed_data = replace_text(data)
# 将处理后的对象转回 JSON 字符串
return json.dumps(processed_data, ensure_ascii=False)
# main函数 读取 input_file然后写入output_file调用process_line进行微调数据,通过tqdm创建进度条
def main(input_file, output_file, old_text, new_text):
with open(input_file, 'r', encoding='utf-8') as infile, \
open(output_file, 'w', encoding='utf-8') as outfile:
# 计算总行数用于进度条
total_lines = sum(1 for _ in infile)
infile.seek(0) # 重置文件指针到开头
# 使用 tqdm 创建进度条
for line in tqdm(infile, total=total_lines, desc="Processing"):
processed_line = process_line(line.strip(), old_text, new_text)
outfile.write(processed_line + '\n')
# argparse 库来解析命令行参数。它定义了四个参数：input_file，output_file没有defalut（默认值）所以是必填项目，old_text，new_text有默认值所以非必填
if __name__ == "__main__":
parser = argparse.ArgumentParser(description="Replace text in a JSONL file.")
parser.add_argument("input_file", help="Input JSONL file to process")
parser.add_argument("output_file", help="Output file for processed JSONL")
parser.add_argument("--old_text", default="尖米", help="Text to be replaced")
parser.add_argument("--new_text", default="巧克力豆", help="Text to replace with")
args = parser.parse_args()
main(args.input_file, args.output_file, args.old_text, args.new_text)
执行脚本：
# usage：python change_script.py {input_file.jsonl} {output_file.jsonl}
cd ~/finetune/data
python change_script.py ./assistant_Tuner.jsonl ./assistant_Tuner_change.jsonl
查看数据：
cat assistant_Tuner_change.jsonl | head -n 3
主要查看是否修改为new_text即可。
四、训练启动
1.模型位置
/root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat
2.创建软连接即可
mkdir /root/finetune/models
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat /root/finetune/models/internlm2_5-7b-chat
3.修改官方的Config
cd /root/finetune
mkdir ./config
cd config
# 从 internlm2_5_chat_7b_qlora_alpaca_e3 目录中复制配置文件到当前目录下。
xtuner copy-cfg internlm2_5_chat_7b_qlora_alpaca_e3 ./
打开/root/finetune/config/internlm2_5_chat_7b_qlora_alpaca_e3_copy
修改以下几个配置（-号替换为+）
#######################################################################
# PART 1 Settings #
#######################################################################
- pretrained_model_name_or_path = 'internlm/internlm2_5-7b-chat'
+ pretrained_model_name_or_path = '/root/finetune/models/internlm2_5-7b-chat'
- alpaca_en_path = 'tatsu-lab/alpaca'
+ alpaca_en_path = '/root/finetune/data/assistant_Tuner_change.jsonl'
evaluation_inputs = [
- '请给我介绍五个上海的景点', 'Please tell me five scenic spots in Shanghai'
+ '请介绍一下你自己', 'Please introduce yourself'
]
#######################################################################
# PART 3 Dataset & Dataloader #
#######################################################################
alpaca_en = dict(
type=process_hf_dataset,
- dataset=dict(type=load_dataset, path=alpaca_en_path),
+ dataset=dict(type=load_dataset, path='json', data_files=dict(train=alpaca_en_path)),
tokenizer=tokenizer,
max_length=max_length,
- dataset_map_fn=alpaca_map_fn,
+ dataset_map_fn=None,
template_map_fn=dict(
type=template_map_fn_factory, template=prompt_template),
remove_unused_columns=True,
shuffle_before_pack=True,
pack_to_max_length=pack_to_max_length,
use_varlen_attn=use_varlen_attn)
4.启动微调
xtuner train 命令用于启动模型微调进程。该命令需要一个参数：CONFIG 用于指定微调配置文件。这里我们使用修改好的配置文件 internlm2_5_chat_7b_qlora_alpaca_e3_copy.py。
训练过程中产生的所有文件，包括日志、配置文件、检查点文件、微调后的模型等，默认保存在 work_dirs 目录下，我们也可以通过添加 --work-dir 指定特定的文件保存位置。–deepspeed 则为使用 deepspeed， deepspeed 可以节约显存。
cd /root/finetune
conda activate xtuner-env
xtuner train ./config/internlm2_5_chat_7b_qlora_alpaca_e3_copy.py --deepspeed deepspeed_zero2 --work-dir ./work_dirs/assistTuner
执行完成目录：
4.权重转换
模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件，那么我们可以通过以下命令来实现一键转换。
我们可以使用 xtuner convert pth_to_hf 命令来进行模型格式转换。
xtuner convert pth_to_hf 命令用于进行模型格式转换。该命令需要三个参数：CONFIG 表示微调的配置文件， PATH_TO_PTH_MODEL 表示微调的模型权重文件路径，即要转换的模型权重， SAVE_PATH_TO_HF_MODEL 表示转换后的 HuggingFace 格式文件的保存路径。
除此之外，我们其实还可以在转换的命令中添加几个额外的参数，包括：
参数名 解释
–fp32 代表以fp32的精度开启，假如不输入则默认为fp16
–max-shard-size {GB} 代表每个权重文件最大的大小（默认为2GB）
cd /root/finetune/work_dirs/assistTuner
conda activate xtuner-env
# 先获取最后保存的一个pth文件
pth_file=`ls -t /root/finetune/work_dirs/assistTuner/*.pth | head -n 1`
export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert pth_to_hf ./internlm2_5_chat_7b_qlora_alpaca_e3_copy.py ${pth_file} ./hf
这里有个注意事项：执行完xtuner convert pth_to_hf ./internlm2_5_chat_7b_qlora_alpaca_e3_copy.py ${pth_file} ./hf可能会提示报错，
仔细观察下图可以看到#iter_864.pth多了有个冒号
FileNotFoundError: Cannot find /root/finetune/work_dirs/assistTuner/iter_864.pth:
解决方案 我们把右边的文件名和这个路径保持一致，修改为：
执行完成后的hf目录也如下图所示：
转换完成后，可以看到模型被转换为 HuggingFace 中常用的 .bin 格式文件，这就代表着文件成功被转化为 HuggingFace 格式了。
此时，hf 文件夹即为我们平时所理解的所谓 “LoRA 模型文件”
4. 模型合并
对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。
对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。
在 XTuner 中提供了一键合并的命令 xtuner convert merge，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。
xtuner convert merge命令用于合并模型。该命令需要三个参数：LLM 表示原模型路径，ADAPTER 表示 Adapter 层的路径， SAVE_PATH 表示合并后的模型最终的保存路径。
在模型合并这一步还有其他很多的可选参数，包括：
参数名 解释
–max-shard-size {GB} 代表每个权重文件最大的大小（默认为2GB）
–device {device_name} 这里指的就是device的名称，可选择的有cuda、cpu和auto，默认为cuda即使用gpu进行运算
–is-clip 这个参数主要用于确定模型是不是CLIP模型，假如是的话就要加上，不是就不需要添加
cd /root/finetune/work_dirs/assistTuner
conda activate xtuner-env
export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert merge /root/finetune/models/internlm2_5-7b-chat ./hf ./merged --max-shard-size 2GB
完成之后的目录结构：
启动应用：
streamlit run /root/Tutorial/tools/L1_XTuner_code/xtuner_streamlit_demo.py
二、进阶任务
2.1 上传到 HuggingFace
安装git lfs和huggingface_hub
apt-get install git-lfs
git lfs install
pip install huggingface_hub
登录：需要https://huggingface.co/settings/tokens Access token
huggingface-cli login
创建模型repo：
$huggingface-cli repo create InternLM-Xtuner
git clone https://hf-mirror.com/shuiii/InternLM-Xtuner
把模型复制到repo中：
cp -r /root/finetune/work_dirs/assistTuner/merged /root/InternLM-Xtuner/
如果你的模型太大（>5GB），那么需要使用下面的命令声明一下，否则无法push，这里是看了Huggingface上传自己的模型
$ huggingface-cli lfs-enable-largefiles /root/InternLM-Xtuner
注意：push的时候需要填写两次huggingface的用户名和token
$git add .
$git commit -m "commit from $USER"
$git push
我这边push的还出现报错：
xtuner-env) root@intern-studio-072965:~/InternLM-Xtuner# git push
This repository is configured for Git LFS but 'git-lfs' was not found on your path. If you no longer wish to use Git LFS, remove this hook by deleting .git/hooks/pre-push.
error: failed to push some refs to 'https://hf-mirror.com/shuiii/InternLM-Xtuner'
解决方案：
git pull --rebase origin main
git push origin main
huggingface上传部署地址：https://huggingface.co/shuiii/InternLM-Xtuner/tree/main