垂类大模型微调（一）：认识LLaMA-Factory
LlamaFactory 是一个专注于 高效微调大型语言模型（LLMs） 的开源工具框架，尤其以支持 LLaMA（Meta 的大型语言模型系列）及其衍生模型（如 Chinese-LLaMA、Alpaca 等）而闻名。它的目标是简化模型微调流程，降低用户使用门槛；
官方文档
一、介绍
-
高效微调支持
-
支持多种微调技术（如 LoRA、QLoRA 等），显著降低显存消耗，即使在小规模 GPU（如单卡 24GB）上也能训练数十亿参数的模型。
-
提供分布式训练优化，支持多卡并行和混合精度训练，加速训练过程。
-
-
丰富的模型兼容性
-
支持主流开源 LLM，包括 LLaMA、BLOOM、GPT-2、ChatGLM、Baichuan、Qwen 等。
-
可灵活适配不同模型架构，方便用户快速切换或对比实验
-