当前位置: 首页 > article >正文

OSError: Can‘t load tokenizer for ‘bert-base-uncased‘.

一、具体报错:

报错如下:
OSError: Can't load tokenizer for 'bert-base-uncased'. If you were trying to load it from 'https://huggingface.co/models', make sure you don't have a local directory with the same name. Otherwise, make sure 'bert-base-uncased' is the correct path to a dir

二、报错原因:

模型调用bert时,由于huggingface有墙导致模型无法下载

三、 解决方法:

1、通过镜像站下载

直接命令行通过huggingface镜像运行脚本,从而下载对应bert模型权重
HF_ENDPOINT=https://hf-mirror.com python 模型脚本.py
与之相同,通过设置环境变量也可以,以linux为例
export HF_ENDPOINT=https://hf-mirror.com

2、直接下载权重

地址:https://huggingface.co/google-bert/bert-base-uncased/tree/main
镜像地址:https://hf-mirror.com/google-bert/bert-base-uncased/tree/main
下载内容

config.json
pytorch_model.bin
tokenizer.json
tokenizer_config.json
vocab.txt

将对应文件放入一个文件夹内,如bert-base-uncased;查看报错所在的文件具体位置,以及对应引用模型的位置

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
from_pretrained()中的内容换成模型所在文件夹的路径,建议填写绝对路径
tokenizer = BertTokenizer.from_pretrained('./bert-base-uncased')


http://www.kler.cn/a/374738.html

相关文章:

  • 宿舍人走自动断电系统控制的重点
  • JAVA的设计模式都有那些
  • Spring Cloud Sleuth(Micrometer Tracing +Zipkin)
  • 分享几款开源好用的图片在线编辑,适合做快速应用嵌入
  • UDP-鼠李糖合成酶基因的克隆与鉴定-文献精读76
  • Vue3的router和Vuex的学习笔记整理
  • vscode开发项目常用插件
  • AIGC:开启人工智能生成内容的新时代
  • Kafka集群数据迁移方案
  • 20241028软考架构-------软考案例7答案
  • Kubernetes——part10-1 kubernetes日志收集方案 ELK
  • Kubernetes——part10-2 kubernetes 日志收集方案 EFK
  • 红帽认证有必要考吗?这四大人群推荐考取!
  • axios竟态问题
  • npm入门教程14:npm依赖管理
  • 在米尔电子MPSOC实现12G SDI视频采集H.265压缩SGMII万兆以太网推流
  • 阿里巴巴独家的SpringCloud Alibaba学习笔记,面面俱到,太全了
  • 基于逻辑回归进行THUCNews文本分类
  • 软件测试基础知识总结
  • 测试不知道BUG如何定级和分类???
  • CICD学习笔记1
  • 在基于AWS EC2的云端k8s环境中 搭建开发基础设施
  • ZK范式系列之zkVM介绍(1)
  • 对镜像精简
  • 014:无人机遥控器操作
  • Jenkins You‘re using ‘Known hosts file‘,known_hosts file does not exist