当前位置：首页 > article >正文

【HuggingFace 如何上传数据集 (2) 】国内网络-稳定上传图片、文本等各种格式的数据

article 2024/10/21 15:29:16

【HuggingFace 下载】diffusers 中的特定模型下载，access token 使用方法总结
【HuggingFace 下载中断】Git LFS 如何下载指定文件、单个文件夹？
【HuggingFace 如何上传数据集】快速上传图片、文本等各种格式的数据

上文的方法因为是 https 协议，在国内很容易遇到不稳定、中断等可能性，为了保障能稳定上传，推荐还是使用 ssh 协议来传输。

1. 建立 hugging face 仓库

本文以 dataset 为例，建立好后在主页的右侧三个点位置中选择 Clone repo。请添加图片描述

2. ssh clone 到本地

一定要选 SSH，在国内稳定很多。

（1）如果没 git lfs 过，需要下载 git-lfs (apt install git-lfs)
（2）第一次使用，需要将服务器上的 ssh public key 添加到 hugging face 中，在图中的 “Add SSH public key”
在这里插入图片描述

3. 类似 git hub 一样操作

（1）将想要上传的文件 mv 到 clone 下来的文件夹
（2）git add .
（3）git commit -m ‘xxx’
（4）git push
顺利的话就会看到类似下图的进度提示 🎊，如果文件数目较多，通常 git add 和 git commit 分别也会等一些时间。
在这里插入图片描述