当前位置: 首页 > article >正文

huggingface上下载数据

先登录huggingface

huggingface-cli login

方法 1:使用 huggingface_hub 下载整个仓库

Hugging Face 提供了一个 huggingface_hub 库,可以用来直接下载整个仓库的内容,包括所有文件夹和文件。

安装 huggingface_hub
如果尚未安装,运行以下命令:

pip install huggingface_hub

使用 huggingface_hub 下载
运行以下代码以下载整个数据集到本地:

from huggingface_hub import snapshot_download

下载整个仓库到本地路径 “./edgnn-hypergraph-dataset”

local_dir = snapshot_download(repo_id="peihaowang/edgnn-hypergraph-dataset", local_dir="./edgnn-hypergraph-dataset")
print(f"Dataset downloaded to {local_dir}")

这将在当前目录下创建一个名为 edgnn-hypergraph-dataset 的文件夹,包含所有文件和子文件夹。

方法 2:使用 git 克隆仓库

Hugging Face 数据集的文件大多存储在 Git LFS(大文件存储)中,因此你可以直接克隆数据集仓库并下载文件。

安装 git-lfs
确保本地安装了 git-lfs,因为部分文件可能存储在 Git LFS 中:

git lfs install

克隆仓库
运行以下命令克隆数据集:

bash

git clone https://huggingface.co/datasets/peihaowang/edgnn-hypergraph-dataset

克隆完成后,文件夹结构会和网页上看到的一致。如果文件存储在 Git LFS 中,则需要运行以下命令下载文件:

git lfs pull


http://www.kler.cn/a/487762.html

相关文章:

  • 初学者关于对机器学习的理解
  • 目标检测中的Bounding Box(边界框)介绍:定义以及不同表示方式
  • Idea-离线安装SonarLint插件地址
  • 单元测试MockitoExtension和SpringExtension
  • Python创建GitHub标签的Django管理命令
  • 从零手写线性回归模型:PyTorch 实现深度学习入门教程
  • Python自学 - 类进阶(可调用对象)
  • 《上古重生》V20241127111039官方中文学习版
  • 将光源视角的深度贴图应用于摄像机视角的渲染
  • 系统架构设计师考点—计算机网络
  • 命令模式详解与应用
  • TensorFlow Quantum快速编程(基本篇)
  • CES 2025|美格智能高算力AI模组助力“通天晓”人形机器人震撼发布
  • 【计算机网络】什么是网关(Gateway)?
  • 国产游戏崛起,燕云十六移动端1.9上线,ToDesk云电脑先开玩
  • 安捷伦等程控电源压测工具支持所有NationalInstruments.Visa协议的电源。
  • 初学stm32 --- ADC单通道采集
  • 【数据结构】 树的遍历:先序、中序、后序和层序
  • Ubuntu | 系统软件安装系列指导说明
  • Java一个简单的反弹动画练习
  • 统一门户单点登入(C#-OOS机制)
  • 物联网:七天构建一个闭环的物联网DEMO-MQTT的配置
  • MySQL核心揭秘:InnoDB存储引擎高级特性
  • 从MySQL5.7平滑升级到MySQL8.0的最佳实践分享
  • webrtc之rtc::ArrayView<const uint8_t>
  • QtCreator快捷键失效的解决办法