tensorflow目前已经升级至r1.10版本。在之前的深度学习中,我是在MAC的虚拟机上跑CPU版本的tensorflow程序,当数据量变大后,tensorflow跑的非常慢,在内存不足情况下,又容易造成系统崩溃(虚拟机走的是windows7)。
- 配置信息
为了后续的深度学习,不得已,我在京东买了一部组装厂商提供的主机,是网吧特供机。配置如下:
- CPU i5 8400 6核
- 16G内存
- GPU Geforce 1060 5G版本
- 240G SSD 硬盘
为什么是这个配置呢?因为该机的配置原来是瞄准了吃鸡等游戏,而GPU Geforce 1060又是深度学习的入门版的要求,加之价格是同等配置中最低的,加上京东优惠券最后不到4000元搞定。
2. 选择操作系统
收货后,在预装的win10上跑了跑分,检查没什么问题后,就准备卸载windows,安装unbuntu。那到底装什么版本好呢?我在官网 https://www.tensorflow.org/install/install_linux?hl=zh-cn 上看看推荐说明,要求是Ubuntu 16.04 或更高版本。
然后我又进入CUDA的官网查看相关说明,这时CUDA已升级并默认推荐9.2版本,该版本显示支持Ubuntu 17.10 和 16.04。由于担心无法支持18.04,于是果断下载17.10的安装包,并做了u盘启动盘进行安装。可让我崩溃的是,在安装到选择“时区”时,居然弹框提示我这样一段信息:
The installer encountered an error copying files to the hard disk: [Errno 5] Input/output error This is often due to a faulty CD/DVD disk or drive, or a faulty hard disk. It may help to clean the CD/DVD, to burn the CD/DVD at a lower speed, to clean the CD/DVD drive lens (cleaning kits are often available from electronics suppliers), to check whether the hard disk is old and in need of replacement, or to move the system to a cooler environment
安装*中断了,我google了国外的论坛,已经有不少人指出这是存在已久的bug提示了,从内容上来说是检查系统时发现有cd或硬盘的硬件问题。可是我这是全新的系统,windows上都运行好好的,怎么在这就出问题了。还有人说可能是内存条损坏,或者有两条以上的内存时也会出现这个提示,可我换了其他内存条,或用一根内存条去试,还是报上述问题。
不得已,我想也许新的Ubuntu系统能解决这个bug,于是做了18.04的新系统,安装后果然好使,顺利安装完成。
3. 选择CUDA和cuDNN版本
tensorflow的官网提到,CUDA用到9.0,cuDNN用到7.0 版本,可是Nvidia官网最新的已经是CUDA9.2,cuDNN对应的是7.1.4。
其中CUDA如果是9.0的话,gcc和g++只能支持6.0以下,而Ubuntu 18.04上默认安装的是7.2版本;而如果CUDA是9.2版本,则支持gcc和g++的版本为7.3,显然和Ubuntu 18.04上是匹配的。
于是我抱着试试运气的心态装了CUDA9.2和cuDNN7.1.4,一路安装没问题,又装了tensorflow 1.9,到最后要运行一个demo时,才发现问题,提示我说 libcudart.so.9.0 不能被找到!原来 /usr/local/cuda-9.2/lib64/下是libcudart.so.9.2,而tensorflow 1.10仅支持到libcudart.so.9.0。这是安装失败后才得到的教训啊!
所以对于tensorflow 1.10来说,就得是CUDA 9.0,而官网的说明文字也是这样,只是进入CUDA的下载页面,要从 "Legacy Release" 中选择CUDA 9.0进行下载,对应的cuDNN是7.0.5,对应的下载页面和地址如下:
- CUDA 9.0 https://developer.nvidia.com/cuda-toolkit-archive
- cuDNN 7.0.5 https://developer.nvidia.com/rdp/cudnn-archive 注意cuDNN下载前需要注册登录
4. 安装CUDA前的操作
cuda的官网 https://docs.nvidia.com/cuda/cuda-installation-guide-linux/#choose-installation-method 安装说明中已经列出了检查步骤。如果你的GPU在支持列表中,则我们只需要做如下操作:
1). 安装GPU驱动程序。Ubuntu在安装后,是给了一个叫Nouveau默认内建的驱动程序。我们需要安装GPU针对性的驱动程序,有篇文章教怎么在Ubuntu上安装合适的驱动:https://linuxconfig.org/how-to-install-the-nvidia-drivers-on-ubuntu-18-04-bionic-beaver-linux 。
简单来说,执行 ubuntu-drivers devices 命令得到推荐的nvidia驱动程序,
然后执行 sudo apt-get install nvidia-driver-390 (根据提示的驱动程序而定)即可安装完成。
注意安装完成后需要重启。
(后记:在操作一星期后,不知为何我安装的显卡驱动就不好使了,具体表现为系统默认采用内建显卡驱动程序,查看/proc/driver/nvidia/version失败,以及用Nvidia X Server Settings时无法显示显卡驱动信息。但用sudo ubuntu-drivers autoinstall命令行方式发现不需要安装或更新。经过无数次失败尝试后,最后选择从官网下载对应的驱动程序进行安装才恢复,具体教程还是可以参考 https://linuxconfig.org/how-to-install-the-nvidia-drivers-on-ubuntu-18-04-bionic-beaver-linux 的第三种安装方法。在安装前先删除之前的驱动:sudo apt purge nvidia-* | sudo apt autoremove)
2). 安装gcc-4.8和g++-4.8。执行如下命令:
sudo apt-get install gcc-4.8 ll /usr/bin |grep gcc #若存在高版本的gcc,则继续 cd /usr/bin sudo mv gcc gcc.bak #备份 sudo ln -s gcc-4.8 gcc #重新指向
执行gcc --version 可检查是否为4.8版本,g++可执行同样的操作。
5. 安装CUDA和cuDNN
进入CUDA9.0的下载页,选择安装类型为runfile(local),可发现有一个基础安装包,和三个补丁包,都下载下来,然后依次执行:
sudo sh cuda_9.0.176_384.81_linux.run
安装时会以提问的方式,一路默认即可,当第二个询问是否安装新驱动程序时,选择否
sudo sh cuda_9.0.176.1_linux.run sudo sh cuda_9.0.176.2_linux.run sudo sh cuda_9.0.176.3_linux.run
结束后,可以在/usr/local/cuda-9.0 发现有安装文件,在/etc/profile或~/.bashrc的文件后面添加环境变量:
export PATH=/usr/local/cuda-9.2/bin${PATH:+:${PATH}} export LD_LIBRARY_PATH=/usr/local/cuda-9.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
安装好CUDA9.0后,接下来就安装cuDNN,进入cuDNN下载页选择 cuDNN v7.0.5 Library for Linux 下载。
执行如下命令:
tar -xzvf cudnn-9.0-linux-x64-v7.tgz
进入解压目录,执行:
sudo cp cuda/include/cudnn.h /usr/local/cuda/include sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64 sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*
这样就安装完成了。
6. 安装tensorflow-gpu
官方推荐通过Virtualenv来安装tensorflow-gpu,来进行项目隔离,这是在开发环境,如果在生产环境,可以走docker方式来部署。这里采用Virtualenv方式来安装,执行如下命令:
sudo apt-get install python3 sudo apt-get install python3-pip python3-dev python-virtualenv
安装完pip3、virtualenv后,可进入virtualenv安装tensorflow-gpu,执行如下命令:
mkdir -p ~/tensorflow/venv virtualenv -p python3 ~/tensorflow/venv #创建virtualenv环境 cd ~/tensorflow/venv source bin/activate #环境用的时候需要激活 pip3 install --index-url http://pypi.douban.com/simple --trusted-host pypi.douban.com --upgrade tensorflow-gpu #采用国内源下载tensorflow-gpu
最后通过 pip3 show tensorflow-gpu 可检查tensorflow-gpu的安装路径是否在该虚拟环境内,以隔绝与全局的site-packages
7. 检查结果
还是在上述virtualenv创建的根目录下,执行如下命令:
mkdir src && cd src
vi hello_tensorflow.py,内容如下:
import tensorflow as tf hello = tf.constant(\'Hello, TensorFlow!\') sess = tf.Session() print(sess.run(hello))
最后执行该脚本:python3 hello_tensorflow.py 即可得到包含有GPU输出信息的正确结果