在 HuggingFace 中使用 SSH 进行下载数据集和模型
SSH 是一种 安全通讯的协议,我们通过配置 SSH
的密钥 来在 Git 上实现 Huggingface 模型的命令行下载。
参考网址:https://huggingface.co/docs/hub/security-git-ssh
点击自己的头像,点击 Add SSH key
在 Windows 上,我们实现已经生成的 SSH 的密钥, 存储在 C:\Users\B\.ssh
里面的 id_xxx.pub
里面, Key_name 可以随便起一个名字,然后添加自己的 密钥进去,就配置好了。
验证是否配置成功
ssh -T git@hf.co
在window 的 git 使用 SSH 命令行进行下载
下载的命令类似下面这种
Hugging Face 下载过慢,可以使用国内的镜像网站 + 命令行下载
使用方法三进行高速的下载,教程如下:
https://hf-mirror.com/
将生成好的 hf_username
和 hf_token
提前写好到 bashrc
里面,直接读取,这里用 xxx
来代替。
wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh
export HF_ENDPOINT=https://hf-mirror.com
./hfd.sh benjamin-paine/stable-diffusion-v1-5-inpainting --hf_username xxx --hf_token xxx --local-dir ./
遇到问题下载失败
- 查看网络是否正常,是否接受 数据正常
ping www.hf-mirror.com
-
没有下载权限,有些模型需要在网页上输入个人信息才能下载。 不然会出现
ERROR
的提示。 -
数据放置的位置,不用定在
nas
的数据盘里面
--local-dir
选择在本地即可。