huggingface的lora与resume方法训练模型(以BERT为列)

文章目录

• 前言
• 一、LoRA训练与Resume方法Demo
• • 1、LoraConfig配置文件介绍
  • 2、PEFT的LoRA训练的完整Demo
  • 3、LoRA训练与LoRA的resume训练
  • • 1、LoRA训练
    • 2、LoRA的resume训练
  • 4、PEFT的LoRA训练方法
• 二、权重载入
• • 1、参数
  • 2、文件路径获取
  • 3、config加载更新
  • 4、权重文件加载
  • • 1、不同条件权重载入
    • 2、os.path.isfile(weights_file) or os.path.isfile(safe_weights_file)条件载入权重
    • 3、is_peft_available() and isinstance(model, PeftModel)条件载入权重
    • 4、else条件载入权重
  • 5、特定文件重点解释
• 三、LoRA权重载入(def load_adapter(self, model_id: str, adapter_name: str, is_trainable: bool = False, **kwargs: Any))
• • 1、load_adapter完整源码
  • 2、adapter的config参数处理
  • 3、LoRA权重文件获取（file_name）
  • 4、LoRA权重文件加载
  • 5、载入LoRA权重
  • • 1、完整源码(set_peft_model_state_dict)
    • 2、获取config值
    • 3、获得Lora权重值
    • 4、模型加工为模型能加载Lora权重变量
    • 5、模型加载LoRA权重
    • 6、set_peft_model_state_dict返回值
  • 6、load_adapter返回值
• 四、optimizer、scheduler与状态_load_rng_state载入
• 五、LoRA训练推理合并模型方法
• • 1、LoRA权重合并Demo
  • 2、LoRA权重合模型变量变化
• 六、LoRA权重合于模型权重保存
• • 1、保存合并lora权重Demo
  • 2、保存合并权重说明