当前位置： 首页 > article >正文

Huggingface下载模型的几种方式

article 2024/12/27 6:37:02

目录

    • 1.transformers库
      • 1.1 安装transformers
      • 1.2 下载模型的代码示例
    • 2. 手动下载模型文件
    • 3. huggingface-cli 下载
      • 3.1 安装huggingface-cli
      • 3.2 下载到指定文件夹

1.transformers库

  • Hugging Face 提供了一个非常方便的 Python 库——transformers，它可以让你轻松下载、加载和使用预训练的模型。

1.1 安装transformers

pip install transformers

1.2 下载模型的代码示例

#将模型下载到本地调用
from transformers import AutoModelForCausalLM,AutoTokenizer

#将模型和分词工具下载到本地，并指定保存路径
model_name = "uer/gpt2-chinese-cluecorpussmall"
cache_dir = "model/uer/gpt2-chinese-cluecorpussmall"

#下载模型
AutoModelForCausalLM.from_pretrained(model_name,cache_dir=cache_dir)
#下载分词工具
AutoTokenizer.from_pretrained(model_name,cache_dir=cache_dir)

print(f"模型分词器已下载到：{cache_dir}")

2. 手动下载模型文件

  • 步骤：
    1. 访问 Hugging Face 模型页面。 找到你想要的模型，例如 uer/gpt2-chinese-cluecorpussmall。
    1. 在模型页面上点击 Download 按钮，下载模型文件（通常包括 .bin 权重文件和配置文件 config.json，以及分词器文件vocab.txt、tokenizer.json

在这里插入图片描述

3. huggingface-cli 下载

  • 官网: cli教程

3.1 安装huggingface-cli

  • 需要安装 transformers 和 huggingface_hub 库，它们包含了 huggingface-cli 工具。
pip install huggingface_hub

3.2 下载到指定文件夹

huggingface-cli download bert-base-uncased --local-dir D:\tmp
  • 下载进度
    在这里插入图片描述

http://www.kler.cn/a/453200.html

相关文章：

  • 01 - 初识 Spring
  • 全面Kafka监控方案：从配置到指标
  • 【C语言】库函数常见的陷阱与缺陷(二)：字符串转化函数[3]--strtol
  • 面经zhenyq
  • 写作词汇积累：见笑、尽显、稀疏、染指
  • Vivado常用IP例化2
  • 文件解析漏洞中间件（iis和Apache）
  • 01-linux基础命令
  • Android 13 非 Launcher 应用开机启动：通过监听开机广播实现
  • linux下搭建lamp环境(dvwa)
  • Qt 应用程序转换为服务
  • MySQL基础-事务
  • 代码随想录算法【Day2】
  • Docker Run使用方法及参数详细说明
  • 【mysql】id主键列乱了之后，重新排序（可根据日期顺序）
  • 4.5 数据表的外连接
  • 【c++笔试强训】（第四十五篇）
  • 基于c语言的union、字符串、格式化输入输出
  • 【Golang 面试题】每日 3 题（六）
  • 学习C++：书写hello world
  • 什么是微分
  • OCR实践-Table-Transformer
  • 【人工智能】用Python实现情感分析：从简单词典到深度学习方法的演进
  • 15 break和continue
  • Dockerfile的用法
  • 基于OpenCV和Python的人脸识别系统_django