深度学习环境搭建常用网址、conda/pip命令行整理(pytorch、paddlepaddle等环境搭建)

时间:2022-10-31 08:06:07

前言:最近研究深度学习,安装了好多环境,记录一下,方便后续查阅。

1. Anaconda软件安装

1.1 Anaconda

Anaconda是一个用于科学计算的Python发行版,支持Linux、Mac、Windows,包含了众多流行的科学计算、数据分析的Python包。请自行到官网下载安装,下载速度太慢的话可移步清华源。

官网:https://repo.anaconda.com/archive/

清华源:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

1.2 Miniconda

Miniconda是一个Anaconda的轻量级替代,默认只包含了python和conda,但是可以通过pip和conda来安装所需要的包。

官网:https://docs.conda.io/en/latest/miniconda.html

清华源:https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/

2. Anaconda创建虚拟环境

2.1 创建新的虚拟环境

(1)一步完成搭建。需要注意的是要更换python版本,只能用conda命令

conda create –n name python=3.8.10 anaconda

后边加anaconda命令选项(可选),在建立虚拟环境的同时,也会安装Jupyter Notebook、Numpy、Scipy、Matplotlib、Panda等python软件包。

(2)分步搭建

# 该命令会创建一个空的conda虚拟环境,此时该环境中没有任何依赖包,只有conda命令可用
conda create –n name
# 安装python环境,可以指定python版本,不带版本号则会默认安装最新版本
conda install python==3.6.2

2.2 启动/关闭环境

conda activate name  # 启动虚拟环境
conda deactivate # 关闭当前环境,退回到base

注意:早期版本的anaconda,前边不需要加conda,直接activate name/deactivate即可。

2.3 删除环境

conda remove -n name -all

2.4 快速创建(复制其他环境)

conda create -n name3 --clone name

2.5 环境重命名

conda create -n name2 -clone name  # 先copy当前环境
conda remove -n name -all  # 再删除

2.6 将虚拟环境设置为本机当前python环境

安装完anaconda,默认本机python环境为base环境,可以通过修改环境变量PATH下边的路径,完成本机python环境的切换。

     深度学习环境搭建常用网址、conda/pip命令行整理(pytorch、paddlepaddle等环境搭建)深度学习环境搭建常用网址、conda/pip命令行整理(pytorch、paddlepaddle等环境搭建)

3. 查看和修改conda环境配置

3.1 查看虚拟环境

conda info -e(或conda info --envs或conda env list)

3.2 查看conda的config信息

conda config --show

3.3 查看conda的channels信息

conda config --show channels

3.4 移除某个channels

conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/(这是清华维护的conda三方源之一的conda-forge的镜像,目前不一定能用)

3.5 添加可用的清华源

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes(安装时显示channel的url)

4. 查看电脑硬件信息

4.1 cuda版本

(1)进入NVIDIA控制面板查看

nvidia-smi

若报未找到命令,cmd进入目录C:\Program Files\NVIDIA Corporation\NVSMI再输入命令nvidia-smi,或者添加该目录到环境变量。

(2)命令行查看cuda版本

nvcc --version  # 或者nvcc -V

(3)python中查看cuda信息

import torch
# 查看cuda版本
torch.version.cuda  # 返回cuda版本号,比如11.1
# 查看cuda是否可用
torch.cuda.is_available()
# 查看可用cuda设备数
torch.cuda.device_count()

4.2 cudnn版本

进入cuda安装目录打开cudnn_version.h查看(低版本没有cudnn_version.h,可在cudnn.h查看)

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\include\cudnn_version.h

深度学习环境搭建常用网址、conda/pip命令行整理(pytorch、paddlepaddle等环境搭建)

也可以打开python,输入如下指令查看

import torch
torch.backends.cudnn.version()  # 返回cudnn版本号,比如8005 

4.3 cuda和显卡驱动版本对应关系

深度学习环境搭建常用网址、conda/pip命令行整理(pytorch、paddlepaddle等环境搭建)

5. cuda和cudnn安装

cuda下载网址:https://developer.nvidia.cn/cuda-toolkit-archive

cudnn下载网址:https://developer.nvidia.cn/rdp/cudnn-archive

官网下载速度都很快,比较烦的是cudnn下载需要注册NVIDIA会员。建议花点时间注册一个,调参侠必备。

cuda安装这里不再赘述,一路默认安装到底即可。完成cuda安装后需要将cudnn中的bin、include和lib三个文件夹拷贝至cuda根目录下。另外记得添加环境变量,一般安装的时候都会默认添加。

一台设备可以同时安装任意多个cuda版本,可以通过修改环境变量来设置当前使用的cuda版本。环境变量中有三处与cuda有关的设置:

深度学习环境搭建常用网址、conda/pip命令行整理(pytorch、paddlepaddle等环境搭建)

设置本机当前使用的cuda版本,只需要将PATH路径中对应版本的bin文件目录置前。和CUDA_PATH、NVCUDASAMPLES_ROOT路径无关。

6. PyTorch环境搭建

6.1 国内镜像源使用

(1)常见国内源镜像

# 清华源
pip install pkgname -i https://pypi.tuna.tsinghua.edu.cn/simple
# 豆瓣源
pip install pkgname -i https://pypi.douban.com/simple
# 阿里源
pip install pkgname -i https://mirrors.aliyun.com/pypi/simple
# 百度源
pip install pkgname -i https://mirror.baidu.com/pypi/simple
# 中科大源
pip install pkgname -i https://pypi.mirrors.ustc.edu.cn/simple

(2)临时使用源镜像下载

# pip
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pkgname
pip install pkgname -i http://pypi.douban.com/simple/

# conda
conda install -c https://pypi.tuna.tsinghua.edu.cn/simple pkgname
conda install pkgname -c http://pypi.douban.com/simple/

6.2 PyTorch安装

官网下载地址:Start Locally | PyTorchPrevious PyTorch Versions | PyTorch

conda install pytorch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0 cudatoolkit=11.3 -c pytorch (-c pytorch表示从官网下载)
pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 torchaudio==0.11.0 --extra-index-url https://download.pytorch.org/whl/cu113
pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 torchaudio==0.11.0 –f http://download.pytorch.org/whl/torch_stable.html --trusted-host download.pytorch.org(速度快)

使用官方网址提供的命令可快速完成torch安装配置,但是官网只提供一些固定版本的torch和cuda组合。可以根据自己的硬件配置,在官方下载网址或其他网站先行下载torch、torchvison等安装包,然后将安装包copy到指定路径下,再用conda/pip命令安装。大多数安装包都是以wheel格式保存的whl文件(Wheel是Python发行版的标准内置包格式),可直接用pip安装。

pip install cu101/torch-1.7.0%2Bcu101-cp38-cp38-win_amd64.whl  

6.3 测试torch环境

import torch as t
t.__version__  # 成功则返回1.11.0+cu113  
t.cuda.is_available()   # 成功则返回True
# 退出python编译环境:
exit()  # 或quit()

7. PaddlePaddle环境搭建

7.1 CPU版PaddlePaddle

conda install paddlepaddle==2.3.2 --channel https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/

7.2 GPU版PaddlePaddle

本人测试下来conda下载速度贼慢,pip很快,两种方式都可尝试下,怎么快怎么来。

conda install paddlepaddle-gpu==2.3.2 cudatoolkit=11.2 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/ -c conda-forge
pip install paddlepaddle-gpu==2.3.2.post112 -f https://www.paddlepaddle.org.cn/whl/windows/mkl/avx/stable.html

7.3 测试PaddlePaddle环境

import paddle
paddle.utils.run_check()

电脑本地还没有安装cuda和cudnn,但也显示GPU版本PaddlePaddle已可用,有点奇怪,后边再训练个网络模型测试一下。

深度学习环境搭建常用网址、conda/pip命令行整理(pytorch、paddlepaddle等环境搭建)