LLaMA-Factory|微调大语言模型初探索(3)，qlora微调deepseek记录
前言
上篇文章记录了使用lora微调llama-1b，微调成功，但是微调llama-8b显存爆炸，这次尝试使用qlora来尝试微调参数体量更大的大语言模型，看看64G显存的极限在哪里。
1.Why QLora?
- QLoRA 在模型加载阶段通过
4-bit量化大幅减少了模型权重的显存占用。 - QLoRA 通过 反量化到 BF16 进行训练，在保持计算精度的同时，进一步
节省显存和提高效率。 - QLoRA 在加载、训练、以及权重存储等多个方面都进行了优化，从而有效地
减少了显存使用。
总结：比Lora节省显存！！
2.LLaMA-Factory支持模型
如上图所示，这是LLaMA-Factory所有支持的大语言模型，你可以选择你感兴趣的模型进行微调。
LLaMA-Factory
3.尝试Llama-3.2-3B
-
下载Llama-3.2-3B-Instruct