LLaMA-Factory使用实战
LLaMA-Factory使用实战
项目介绍
项目地址：https://github.com/hiyouga/LLaMA-Factory
中文文档：安装 - LLaMA Factory
快速开始文档：https://zhuanlan.zhihu.com/p/695287607（推荐参考）
远程服务器通过本地代理加速访问网站：
-
https://zhuanlan.zhihu.com/p/18500712254
-
Centos7 -- 用三种方法设置代理服务器上网_center os如何强制所有应用使用代理上网-CSDN博客 （适用于服务器下载速度较慢的情况）
一、DeepSpeed技术解析
讲这个的原因就是因为，训练大模型肯定是得多卡并行的，这样不仅能节省空间，还能加快速度，所以，微调训练的时候，一般都会采用分布式训练。
有很多种情况，单机多卡，多机多卡等等。
核心原理
DeepSpeed的核心就在于：GPU显存不够，CPU内存来凑。
DeepSpeed是微软开发的分布式训练工具，通过ZeRO技术优化内存占用，支持更大规模的模型训练。ZeRO通过分片模型参数、优化器状态和梯度来减少显存需求，分为多个阶段（Stage1、2和3），每个阶段逐步增加内存优化程度。混合精度训练结合FP16和FP32，降低显存使用，但需要平衡精度和计算效率。
具体而言，DeepSpeed将当前时刻训练模型用不到的参数缓存到CPU中，需要时再从CPU挪到GPU。这里的"参数"不仅指模型参数，还包括optimizer、梯度等。
越多的参数挪到CPU上，GPU的负担就越小；但代价是更频繁的CPU-GPU交互，显著增加训练推理的时间开销。因此，DeepSpeed使用的核心要义是时间开销和显存占用的权衡。
Offload技术
将forward中间结果保存到内存、硬盘（NVMe）等缓存中，然后在需要时进行加载或重计算，进一步降低显存占用。
并行训练范式
在大规模深度学习模型训练中有两个主要范式：
-
数据并行
-
模型并行
目前训练超大规模语言模型技术路线：GPU + PyTorch + Megatron-LM + DeepSpeed
DeepSpeed优势
DeepSpeed是Microsoft提供的分布式训练工具，旨在支持更大规模的模型和提供更多的优化策略和工具。主要优势在于：
-
支持更大规模的模型
-
提供更多的优化策略和工具（例如ZeRO和Offload等）
核心技术特点
-
3D并行化实现万亿参数模型训练：DeepSpeed实现了三种并行方法的灵活组合：ZeRO支持的数据并行，流水线并行和张量切片模型并行。适应不同工作负载需求，支持万亿参数超大型模型，实现近乎完美的显存扩展性和吞吐量扩展效率。提高的通信效率使用户可以在网络带宽有限的常规集群上以2-7倍的速度训练有数十亿参数的模型。
-
ZeRO-Offload使GPU单卡能够训练10倍大的模型：扩展了ZeRO-2，同时利用CPU和GPU内存训练大型模型。使用单张英伟达V100 GPU时，可运行多达130亿参数的模型，模型规模扩展至现有方法的10倍，并保持有竞争力的吞吐量。
-
DeepSpeed Sparse Attention实现6倍速度执行10倍长的序列：提供稀疏attention kernel，支持长序列模型输入（文本、图像、语音）。比经典稠密Transformer支持的输入序列长一个数量级，获得最高6倍执行速度提升，比最新稀疏实现快1.5-3倍。
-
1比特Adam减少5倍通信量：新算法最多可减少5倍通信量，同时实现与Adam相似的收敛率。在通信受限场景下，分布式训练速度提升3.5倍，适用于不同类型的GPU集群和网络环境。
ZeRO策略详解
DeepSpeed本质上属于数据并行，核心是其ZeRO策略。训练模型时显存主要用在四个方面：
-
模型参数
-
梯度
-
优化器
-
激活值
ZeRO策略分级：
-
Zero-0：不使用所有类型的分片，仅使用DeepSpeed作为DDP，速度最快（显存够时使用）
-
Zero-1：切分优化器状态，分片到每个数据并行的工作进程(每个GPU)下；有微小的速度提升
-
Zero-2：切分优化器状态 + 梯度，分片到每个数据并行的工作进程(每个GPU)下
-
Zero-3：切分优化器状态 + 梯度 + 模型参数，分片到每个数据并行的工作进程(每个GPU)下
二、环境安装
首先创建一个虚拟环境。建议不要轻易使用conda，因为conda创建虚拟环境后自带很多包，容易造成依赖冲突。最好创建一个干净的虚拟环境，直接使用框架提供的requirements文件。
推荐使用以下方式创建虚拟环境：
-
virtualenv
-
Python自带的venv：
python -m venv .env -
UV：最近流行的包管理工具，很多大模型文档推荐使用
安装时按照官方文档提供的步骤进行即可。
Tips：
-
Docker安装后，还需安装Docker插件
-
初次部署项目可能会遇到各种问题，这是正常的学习过程，经历多了就会知道如何调试
三、数据准备（自定义数据集）
1. 数据获取
使用爬虫获取数据，常见的爬虫库包括：
-
直连浏览器（容易被拦截）
-
requests+bs4：通过requests的get方法获取网页HTML结构，然后用bs4解析HTML提取所需内容
-
selenium模拟浏览器请求：爬取成功率更高，但实现难度较大
爬虫技巧：
-
验证码处理：可保存到本地由开发者手动输入，或尝试自动识别（较复杂）
-
代理池和随机useragent：通过代理地址列表，每次随机选择，避免IP被封
2. 数据处理
建议先将数据整理为markdown格式，因为结构分明，易于程序和人类理解。
然后根据任务需求将数据转换为适当的JSON格式（如alpaca格式、sharegpt格式等）。
3. 数据配置
将JSON文件的配置信息添加到LLaMA-Factory的数据配置文件中。
例如，上图中news_llama是自定义数据集，dataset_info是LLaMA-Factory的数据配置文件。
四、微调训练
运行以下命令启动基于Gradio的UI界面：
界面示例：
通过调整参数开始微调训练。参数调整可参考网上资料，也可使用默认配置，但需考虑GPU性能是否支持，必要时调低参数。
重要提示： 建议不要在UI界面直接进行微调训练，因为UI界面本身也会占用GPU资源，可能导致显存不足。最好在预览命令区获取完整命令，关闭UI界面后直接在命令行中运行。
五、模型导出和部署
可以使用LLaMA-Factory提供的export功能进行模型导出和部署。
总结
LLaMA-Factory是一个对小白友好的框架，没有太多技术门槛，适合作为大模型训练的入门项目，帮助提升自信心。通过实践操作，可以逐步掌握大模型微调的基本流程和技巧。
参考资料
VSCode链接远程服务器时报错解决方案：https://zhuanlan.zhihu.com/p/582696696