LLaMA-Factory 微调LLaMA3
LoRA介绍
LoRA（Low-Rank Adaptation）是一种用于大模型微调的技术， 通过引入低秩矩阵来减少微调时的参数量。在预训练的模型中， LoRA通过添加两个小矩阵B和A来近似原始的大矩阵ΔW，从而减 少需要更新的参数数量。具体来说，LoRA通过将全参微调的增量 参数矩阵ΔW表示为两个参数量更小的矩阵B和A的低秩近似来实 现：
• [ W_0 + \Delta W = W_0 + BA ] • 其中，B和A的秩远小于原始矩阵的秩，从而大大减少了需要更新 的参数数量。
LLaMA-Factory 框架
首先需要通过vscode连接远程服务器哦
如果是租赁的AutoDL服务器，一定要将模型下载到数据盘。
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e .
准备训练数据
训练数据： fintech.json identity.json 将训练数据放在 LLaMA-Factory/data/fintech.json
并且修改数据注册文件：LLaMA-Factory/data/dataset_info.json
"fintech": {
"file_name": "fintech.json",
"columns": {
"prompt": "instruction",
"query": "input",
"response": "output",
"history": "history"
}
}启动 Web UI
cd LLaMA-Factory
llamafactory-cli webui
vscode自带端口转发，不需要进行内网穿透了。
一定要在LLaMA-Factory 目录下启动。
模型准备
pip install modelscop #安装modelscope平台
sdk方式下载模型，同时可以查看模型整体的大小和权重。
模型微调，微调 Llama-3.2-1B-Instruct 模型
