利用hf-mirror镜像+linux命令行下载数据集

时间:2025-05-08 07:55:03

        之前都是从那里手动点击——这次任务量大——>参考了hugging-face_cli的下载方法

(1)先通过df -h命令,查看各个位置的磁盘空间大小

(2)然后,参考这个文章:国内快速下载huggingface(镜像)上的模型和数据 - 知乎 ()

依次输入以下命令:

pip install -U huggingface_hub

 

export HF_ENDPOINT=

 这里以这个数据集elsaEU/ELSA_D3 · Datasets at HF Mirror ()为例子,同时,下载的本地地址为 ./data/

速度很快,接近40多MB/s

huggingface-cli download --repo-type dataset --resume-download elsaEU/ELSA_D3 --local-dir /data/elsaEU/ELSA_D3

(3)还有其他下载方法,自己搜文章即可,或者我列出一些参考:

  1. 参考文章:国内快速下载huggingface(镜像)上的模型和数据 - 知乎 ()
  2. 镜像数据集网站:elsaEU/ELSA_D3 at main ()

  1. 参考文章2:如何快速下载huggingface模型——全方法总结 - 知乎 ()

这一篇估计就是最好的文章了

估计这些文章够用了-相信大家都会遇到huggingface的问题,你以后也一定躲不开,不妨多学习一些

国内快速下载huggingface(镜像)上的模型和数据 - 知乎 ()

使用Huggingface镜像站下载资源_huggingface mirror-****博客

简便快捷获取Hugging Face模型(使用镜像站点) - 知乎 ()