当前位置: 首页 > article >正文

Bert下载和使用(以bert-base-uncased为例)

Bert官方github地址:https://github.com/google-research/bert?tab=readme-ov-file
【hugging face无法加载预训练模型】OSError:Can‘t load config for ‘./bert-base-uncased‘. If you‘re trying
如何下载和在本地使用Bert预训练模型
以bert-base-uncased为例:
在github下载:
在这里插入图片描述
在huggingface(https://huggingface.co/bert-base-uncased/tree/main)下载config.json和pytorch_model.bin

在这里插入图片描述
将github下载的解压,并将huggingface下载的config.json和pytorch_model.bin放到解压后的文件夹:
在这里插入图片描述
测试:

from transformers import BertModel,BertTokenizer

BERT_PATH = '上面解压好的文件夹的路径'

tokenizer = BertTokenizer.from_pretrained(BERT_PATH)

print(tokenizer.tokenize('I have a good time, thank you.'))

bert = BertModel.from_pretrained(BERT_PATH)

print('load bert model over')

输出:

['i', 'have', 'a', 'good', 'time', ',', 'thank', 'you', '.']
load bert model over

http://www.kler.cn/a/233497.html

相关文章:

  • scrapy爬取中信证券销售金融产品信息
  • fastapi 查询参数支持 Pydantic Model:参数校验与配置技巧
  • react 中 FC 模块作用
  • 计算机网络易混淆知识点串记
  • 动态规划 —— 子数组系列-最大子数组和
  • Mysql 8迁移到达梦DM8遇到的报错
  • 幻兽帕鲁服务器怎么更新?进入游戏显示:加入的比赛正在运行不兼容的版本,请尝试升级游戏版本(阿里云)
  • python智慧养老系统—养老信息服务平台vue
  • js手写Promise(下)
  • Java编程构建高效二手交易平台
  • Python 数组计算模块 NumPy快速入门 这篇就够了
  • Days 23 ElfBoard 板git版本管理工具
  • 多维时序 | MATLAB实现基于CNN-LSSVM卷积神经网络-最小二乘支持向量机多变量时间序列预测
  • (已解决)在vue路由中:Vue.use(VueRouter)和Vue.use(Router);有什么区别?
  • 鸿蒙(HarmonyOS)项目方舟框架(ArkUI)之StepperItem组件
  • 微服务OAuth 2.1扩展额外信息到JWT并解析(Spring Security 6)
  • Unity入门学习
  • 类与结构体(3)
  • 酷开科技,打造非凡的生活体验
  • 开源微服务平台框架的特点是什么?
  • 前端开发:(四)JavaScript入门
  • 前端 > JS 笔试题面试考题(11-15)
  • win32编程系统BUG(Win32 API中的WM_SETTEXT消息)
  • Java集合框架(包装类、泛型)
  • 谷歌发布AI新品Gemini及收费模式;宜家推出基于GPT的AI家装助手
  • CVE-2021-44915 漏洞复现