pycharm调试transformers(hugging face)的模型
使用pycharm,远程调试服务器上的代码时,transformer的代码跳转不进去,会失败。可以尝试如下方案:
1、找到路径/home/usr/.cache/huggingface/modules/transformers_modules/model_name/
,其中usr和model_name按自己的配置进行替换,model_name为加载的huggingface模型
2、把路径下的py文件复制到自己的代码的文件夹下
3、将原来的huggingface的模型定义代码替换为刚刚复制的代码中的模型,例如将AutoModelForCausalLM.from_pretrained
替换为your_model.from_pretrained
,AutoProcessor.from_pretrained
替换为your_processor.from_pretrained
其中your_model
和your_processor
在第2步里复制的py文件里找
4、单步调试时就可以进入模型的内置函数了