【ms-swift 大模型微调实战】
安装环境
- pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
- pip install modelscope vllm ‘ms-swift[llm]’ -U
下载模型
- modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir ./Qwen2.5-7B-Instruct
微调
- 实验环境:4 * A100# 显存占用:4 * 70GB
NPROC_PER_NODE=4 CUDA_VISIBLE_DEVICES=0,1,2,3 swift sft \
--model_type qwen2_5-72b-instruct \
--model_id_or_path Qwen2.5-72B-Instruct \
--dataset qwen2-pro-en#500 qwen2-pro-zh#500 self-cognition#500 \
--logging_steps 5 \
--learning_rate 1e-4 \
--output_dir output \
--lora_target_modules ALL \
--model_name 小黄 'Xiao Huang' \
--model_author 魔搭 ModelScope \
--deepspeed default-zero3
- 单卡A10/3090可运行的例子 (Qwen2.5-7B-Instruct)# 显存占用:24GB
CUDA_VISIBLE_DEVICES=0 swift sft \
--model_type qwen2_5-7b-instruct \
--model_id_or_path Qwen2.5-7B-Instruct \
--dataset qwen2-pro-en#500 qwen2-pro-zh#500 self-cognition#500 \
--logging_steps 5 \
--max_length 2048 \
--learning_rate 1e-4 \
--output_dir output \
--lora_target_modules ALL \
--model_name 小黄 'Xiao Huang' \
--model_author 魔搭 ModelScope
融合lora
CUDA_VISIBLE_DEVICES=0,1 swift export \
--ckpt_dir output/qwen2_5-72b-instruct/vx-xxx/checkpoint-xxx \
--merge_lora true
vLLM部署
vllm serve xxxxx-checkpoint-merged [opentional args]
参考
- Qwen2.5 全链路模型体验、下载、推理、微调、部署实战!
- https://github.com/modelscope/ms-swift
- 自定义数据集
- 微调文档
- 推理文档