huggingface上下载数据
先登录huggingface
huggingface-cli login
方法 1:使用 huggingface_hub 下载整个仓库
Hugging Face 提供了一个 huggingface_hub 库,可以用来直接下载整个仓库的内容,包括所有文件夹和文件。
安装 huggingface_hub
如果尚未安装,运行以下命令:
pip install huggingface_hub
使用 huggingface_hub 下载
运行以下代码以下载整个数据集到本地:
from huggingface_hub import snapshot_download
下载整个仓库到本地路径 “./edgnn-hypergraph-dataset”
local_dir = snapshot_download(repo_id="peihaowang/edgnn-hypergraph-dataset", local_dir="./edgnn-hypergraph-dataset")
print(f"Dataset downloaded to {local_dir}")
这将在当前目录下创建一个名为 edgnn-hypergraph-dataset 的文件夹,包含所有文件和子文件夹。
方法 2:使用 git 克隆仓库
Hugging Face 数据集的文件大多存储在 Git LFS(大文件存储)中,因此你可以直接克隆数据集仓库并下载文件。
安装 git-lfs
确保本地安装了 git-lfs,因为部分文件可能存储在 Git LFS 中:
git lfs install
克隆仓库
运行以下命令克隆数据集:
bash
git clone https://huggingface.co/datasets/peihaowang/edgnn-hypergraph-dataset
克隆完成后,文件夹结构会和网页上看到的一致。如果文件存储在 Git LFS 中,则需要运行以下命令下载文件:
git lfs pull