记录从裸机到TensorFlow GPU版运行 的配置过程

时间:2023-03-09 04:12:27
记录从裸机到TensorFlow GPU版运行 的配置过程

实验室原来有一台装Ubuntu Server系统的服务器,安装有tensorflow,在使用过程中经常出现断网、死机、自动关机等毛病,忍无可忍,决定重装系统

  • 配置如下:Dell工作站,Xeon-E5 2代 8线程处理器 x2,共32个逻辑核,quadro k4000 显卡 x1, 16 GB 内存,1TB 硬盘,双网卡。
  • 打算安装 CentOS 7.4 1708 x64

一. CentOS的安装

教育网用户可从各个高校的镜像站下载CentOS 7,如清华大学开源软件镜像站

公网用户可选择阿里云镜像站网易163镜像站下载

这里选择处于同一校园网的浙江大学开源镜像站 下载CentOS 7.4速度更快

  • ISO格式光盘镜像文件位于/centos/7.4.1708/isos/x86_64/, 任何一个镜像站其目录格式都是相同的。目录下有五种类型的安装包镜像文件

CentOS-7-x86_64-DVD-1708.iso

标准安装光盘版。作者下载的是这个版本

CentOS-7-x86_64-NetInstall-1708.iso

网络安装与系统恢复盘

CentOS-7-x86_64-Everything-1708.iso

对完整版安装盘的软件进行补充,集成所有软件

CentOS-7-x86_64-LiveGNOME-1708.iso

CentOS-7-x86_64-LiveKDE-1708.iso

Gnome与KDE桌面版。live版相当于win pe,直接在光盘、u盘上加载到内存运行,但是无法安装

CentOS-7-x86_64-Minimal-1708.iso

最小安装版

二. CentOS系统的配置

配置网关(重新启动后无需再次配置)

blog.****.net/q_l_s/article/details/51762662

添加用户

www.cnblogs.com/irisrain/p/4324593.html

更新源配置

选择内网更新源

mirrors.zju.edu.cn

请删除/etc/yum.repos.d中的所有文件,然后在/etc/yum.repos.d目录中建立CentOS.repo文件,并填入下列内容

[base]

name=CentOS-$releasever - Base

baseurl=http://mirrors.zju.edu.cn/centos/$releasever/os/$basearch/

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7

[updates]

name=CentOS-$releasever - Updates

baseurl=http://mirrors.zju.edu.cn/centos/$releasever/updates/$basearch/

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7

[extras]

name=CentOS-$releasever - Extras

baseurl=http://mirrors.zju.edu.cn/centos/$releasever/extras/$basearch/

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7

yum命令大全

http://man.linuxde.net/yum

支持ntfs格式

由于重装系统前采用ntfs格式移动硬盘备份数据,而OS系统原声不支持ntfs,需要安装ntfs-3g

安装教程如下

jingyan.baidu.com/article/380abd0a6a99731d90192cc5.html

ntfs-3g下载地址

www.linuxfromscratch.org/blfs/view/svn/postlfs/ntfs-3g.html

由于我是通过ssh连接的,下载后需要通过sftp上传到服务器

三.Tensorflow及其环境的安装

CentOS 7 下图片查看工具 eog

pdf阅读器 evince

安装过程参考资料TensorFlow —— GPU版安装指南

Anaconda

https://www.cnblogs.com/willnote/p/6746499.html

清华大学开源软件镜像站可以下载到对应操作系统与所需Python版本的Anaconda安装包

这里安装的是Python 3.5 版本。下载安装包后执行命令

$bash Anaconda3-4.3.1-Linux-x86_64.sh

通过$Python3.5 -V来验证安装

Nvidia显卡驱动安装

参考资料https://www.cnblogs.com/snake553/p/7159376.html

CUDA安装

NOTE:

通过cuda安装显卡驱动会碰到下列问题,加上--kernel-source-path后仍无法解决

The driver installation is unable to locate the kernel source

从CUDA官网上下载CUDA 8.0-Linux-64 (runfile),执行,不要再次安装显卡驱动

https://developer.nvidia.com/cuda-downloads

安装完成后,通过编译执行Sample中的deviceQuery程序来验证安装与查看设备情况。

\#cd .../NVIDIA_CUDA-8.0_Samples/1_Utilities/deviceQuery
\# make
\# ./deviceQuery

当输出显示Result = PASS时,说明CUDA安装成功且显卡支持

通过nvidia-smi查看显卡使用情况

Cudnn库

从https://developer.nvidia.com/rdp/cudnn-archive 下载对应版本的cuDNN库,需要注册。

我下载的cudnn-8.0-linux-x64-v6.tgz。通过命令

tar -xvf cudnn-8.0-linux-x64-v6.tgz

解压,将解压得到的所有文件复制到cuda的相应目录。注意到链接文件无法复制,需要重新创建。

\#rm -rf libcudnn.so libcudnn.so.6 #删除原有动态文件

\#ln -s libcudnn.so.6.0.21 libcudnn.so.6 #生成软衔接

\#ln -s libcudnn.so.6 libcudnn.so #生成软链接

TensorFlow安装配置

安装Anaconda时应该已经安装了pip,如有必要,请根据提示更新pip\pip3

直接通过pip从google下载TensorFlow非常的慢,强烈推荐采用国内镜像下载。可

通过清华大学开源软件镜像站-TensorFlow 镜像使用帮助获取相应的Tensorflow版本

pip3 install \
-i https://pypi.tuna.tsinghua.edu.cn/simple/ \
https://mirrors.tuna.tsinghua.edu.cn/tensorflow/linux/gpu/tensorflow_gpu-1.4.1-cp35-cp35m-linux_x86_64.whl

安装完成后,启动Python验证安装

\#python3.5
>>import tensorflow as tf

若无错误消息输出,基本上可认为安装成功

note:

清华大学开源软件镜像站-使用帮助https://mirrors.tuna.tsinghua.edu.cn/help/是个非常好的资源