AdaLoRA 参数 配置：CAUSAL_LM“ 表示因果语言模型任务
AdaLoRA 参数 配置：CAUSAL_LM" 表示因果语言模型任务
config = AdaLoraConfig(
init_r=16, # 增加 LoRA 矩阵的初始秩
lora_alpha=32,
target_modules=[“q_proj”, “v_proj”],
lora_dropout=0.1,
bias=“none”,
task_type=“CAUSAL_LM”
)
整体功能概述
AdaLoraConfig 是 peft 库中用于配置自适应低秩自适应（AdaLoRA）微调方法的类。AdaLoRA 是对 LoRA（Low-Rank Adaptation）的改进，通过自适应地调整低秩矩阵的缩放因子，在微调大型预训练模型时减少需要训练的参数数量，从而提高训练效率。