LLM 最新的模型微调技术有哪些
目录
-
- LLM 最新的模型微调技术有哪些
-
- 1. QLoRA（Quantized Low-Rank Adaptation）
- 2. P-Tuning v2
- 3. LoRA++（增强版 LoRA）
- 4. AdaLoRA（Adaptive LoRA）
- 5. BitFit（仅微调偏置）
1. QLoRA（Quantized Low-Rank Adaptation）
- 原理：QLoRA 结合了低秩自适应（LoRA）和量化技术。在 LoRA 中，通过在模型的某些层插入低秩矩阵来微调模型，而 QLoRA 在此基础上，将预训练模型的权重进行 4 位量化，大大减少了内存占用。同时，它使用双量化（Double Quantization）进一步减少量化常数的存储需求。在训练过程中，只更新 LoRA 的低秩矩阵参数，而量化后的预训练模型权重保持不变。
- 举例：在微调大语言模型如 LLaMA - 65B 时，传统的全量微调需要大量的显存，可能无法在单张 GPU 上完成。而使用 QLoRA 技术，将模型权重量化为 4 位，同时应用 LoRA 进行微调，显著降低了显存需求，使得在单张 A100 GPU 上就可以完成对 LLaMA - 65B 的微调。
2. P-Tuning v2
