之前都是从那里手动点击——这次任务量大——>参考了hugging-face_cli的下载方法
(1)先通过df -h命令,查看各个位置的磁盘空间大小
(2)然后,参考这个文章:国内快速下载huggingface(镜像)上的模型和数据 - 知乎 ()
依次输入以下命令:
pip install -U huggingface_hub
export HF_ENDPOINT=
这里以这个数据集elsaEU/ELSA_D3 · Datasets at HF Mirror ()为例子,同时,下载的本地地址为 ./data/
速度很快,接近40多MB/s
huggingface-cli download --repo-type dataset --resume-download elsaEU/ELSA_D3 --local-dir /data/elsaEU/ELSA_D3
(3)还有其他下载方法,自己搜文章即可,或者我列出一些参考:
- 参考文章:国内快速下载huggingface(镜像)上的模型和数据 - 知乎 ()
- 镜像数据集网站:elsaEU/ELSA_D3 at main ()
- 参考文章2:如何快速下载huggingface模型——全方法总结 - 知乎 ()
这一篇估计就是最好的文章了
估计这些文章够用了-相信大家都会遇到huggingface的问题,你以后也一定躲不开,不妨多学习一些
国内快速下载huggingface(镜像)上的模型和数据 - 知乎 ()
使用Huggingface镜像站下载资源_huggingface mirror-****博客
简便快捷获取Hugging Face模型(使用镜像站点) - 知乎 ()