[框架安装趟雷指南]Ubuntu+1060+cuda+cudnn+Keras+TH+TF+MXnet
https://zhuanlan.zhihu.com/p/23480983
写这篇文章的问题是为了回报社会,同时纪念长达一周的地狱般的安装(折腾)过程。
本文不一定是最佳安装方法,也不一定适合每一个人,主要目的是帮助大家避坑。
已经更到安装完毕keras+th+tf并开启gpu支持,如果发现有任何错误请务必指正。
感谢一切在安装过程中给予我帮助的文档作者、群友、同行,感谢清华大学开源软件镜像站,感谢x雷。
重要的话写在前头:
1:不要尝试Windows安装!不要尝试Windows安装!不要尝试Windows安装!成功安装只属于不可复制的小概率事件!不要想着工作娱乐用Windows,在Windows上搞深度学习会方便!呵呵,等着系统完蛋工作娱乐一起毁吧。>.<
2:网上文档众多,不少过于老旧或者不适合你的环境,注意避坑!小trick:在用100度搜索时,用筛选功能筛进一周或者一个月的,选择环境硬件与自己相近的。
正文:
我的配置:
华硕主板,双路e5,GTX1060,240gINTEl固态装win,120gINTEL固态装Ubuntu,1T机械放东西。
最终系统及重要环境:Ubuntu16.04(sever),cuda8.0.44,cudnn5.1
一.安装ubuntu(最大的坑!已有ubuntu跳过)
用N卡装ubuntu是一件很坑的事,安装界面都可能进不去。这是最大的坑,过去了以后其他的其实都是小坑。
避坑方法:安装sever版再安装Desktop!!!!!!!!!
sever 版优点是无图形界面,可以顺利安装并进入系统(命令行),至少能让计算机活过来。N卡福音。
缺点也是无图形界面,真的不习惯。
安装过程:
1.官网下载:Ubuntu Server
2启动盘制作
过程参照这一篇教程:Ubuntu 16.04 U盘安装图文教程_Linux教程_Linux公社-Linux系统门户网站
*注意,选择镜像类型时要选择Ubuntu sever installer ,这个和教程有区别。
3.备份!
4.插u盘重启进bios,设置u盘启动。保存退出(重启)
5.U盘启动成功,进入grub
安装过程基本上没坑,不会在那个界面截图,过程参考:Ubuntu Server 13.10 安装配置图解教程
*分区的时候需要注意,最好准备一块空硬盘单独安装ubuntu,这个和文档不一样
选择手动》》选择要安装的硬盘的名称那行》》建立空白分区列表》》选择空白分区》》自动分区》》确认写入
最后别忘了拔u盘,修改BIOS
6.安装完成,应该是黑屏。。。。
不要慌,sever就这样,默认进入黑屏!按ctrl+shift+f1进入命令行,输入用户名和密码!
升级和配置基本环境
sudo apt update
sudo apt upgrade
sudo apt install -y python-dev python-pip python-nose gcc g++ git gfortran vim
sudo apt install -y libopenblas-dev liblapack-dev libatlas-base-dev
二、配置n卡
第二大坑,根据另外一个显卡是集显或者核心有不同。
安装流程:
安装desktop>>安装驱动>>重启进desktop
sudo apt-get update
sudo apt-get install ubuntu-desktop
桌面安装完毕,如果进的去,就在附加驱动里看一看N卡用什么驱动,最好换367以上。
不过有可能进不去,切到命令行,安装显卡驱动。
方法1:
wget:驱动网址
sudo service lightdm stop
sudo sh 文件名
sudo service lightdm restart
这里网址我是手打,run文件的
方法2:
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update
sudo apt-get install nvidia-367
sudo apt-get install mesa-common-dev
sudo apt-get install freeglut3-dev
sudo service lightdm restart
重启,应该能成功进入桌面系统了
如果闪退,就尝试重启,再不行就再装一次驱动
三、安装cuda
在NVIDIA下载cuda8的runfile local版,注意8.0.44已经解决了gcc版本这个大坑!
https://developer.nvidia.com/cuda-downloads
*小trick,可以在Windows下用x雷下载,速度爆快!
拷到home目录
sudo sh cuda_8.0.44_linux.run
当它询问是否要安装cuda包里带的驱动时(我记得是367.xx),一般教程都说否,因为他们装cuda8.0.27版本,驱动是361。这里,建议你选否,我也选的no。
千万不要改路径,默认就好
安装完成
下一步要把cuda路径添加到环境变量
sudo gedit ~/.bashrc
在最后一个fi后面换行
写入
export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
保存,关闭
source ~/.bashrc
重启
然后应该无坑
输入
nvidia-smi
查看显卡状态
输入
nvcc -V
查看cuda状态
四、安装cudnn
https://developer.nvidia.com/cudnn
N家官网下载,需要注册一个开发者账户,每次下载都要答一个问卷
下载对应的最新版本
解压,cd到新解压出来的cuda文件夹
sudo cp include/cudnn.h /usr/local/cuda-8.0/include/
sudo cp lib64/* /usr/local/cuda-8.0/lib64/
五、安装Keras+Theano
提示,Tensorflow慢成狗,慎用。
先把pip源改成清华镜像:
复制自: 清华大学开源软件镜像站
pypi 镜像使用帮助
pypi 镜像每 5 分钟同步一次。
临时使用
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package
注意,simple 不能少, 是 https 而不是 http
设为默认
修改 ~/.pip/pip.conf (没有就创建一个), 修改 index-url至tuna,例如
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
好,我们成功的避免了pip安装时超时以及30byte/s的情况,下面安装keras就非常简单了
sudo pip install -U --pre pip setuptools wheel
sudo pip install -U --pre numpy scipy matplotlib scikit-learn scikit-image
sudo pip install -U --pre theano
sudo pip install -U --pre keras
theano和keras安装完成,注意,此时只有cpu版本,我们要修改theano配置来实现gpu加速
先把tensorflow改成theano
gedit ~/.keras/keras.json
先import 一次keras
python
import theano
import keras
没报错的话就是成功了
修改theano配置:
gedit ~/.theanorc
写入
[global]
openmp=False
device = gpu
floatX = float32
allow_input_downcast=True
[lib]
cnmem = 0.8
[blas]
ldflags= -lopenblas
[nvcc]
fastmath = True
保存退出
python
import keras
应该会有warning说正在使用cudnn5.1,theano只支持5.,如果有问题就降级cudnn或者升级theano
那么恭喜!你已经成功安装keras和theano,并且开启了gpu支持,可以开始用keras愉快的搞♂深度学习了!
六、安装Tensorflow
完全按照官网来吧:
https://www.tensorflow.org/versions/r0.11/get_started/os_setup.html#pip-installation
Then, select the correct binary to install:
# Ubuntu/Linux 64-bit, CPU only, Python 2.7
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.11.0rc2-cp27-none-linux_x86_64.whl
# Ubuntu/Linux 64-bit, GPU enabled, Python 2.7
# Requires CUDA toolkit 8.0 and CuDNN v5. For other versions, see "Install from sources" below.
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.11.0rc2-cp27-none-linux_x86_64.whl
# Mac OS X, CPU only, Python 2.7:
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/mac/cpu/tensorflow-0.11.0rc2-py2-none-any.whl
# Mac OS X, GPU enabled, Python 2.7:
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/mac/gpu/tensorflow-0.11.0rc2-py2-none-any.whl
# Ubuntu/Linux 64-bit, CPU only, Python 3.4
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.11.0rc2-cp34-cp34m-linux_x86_64.whl
# Ubuntu/Linux 64-bit, GPU enabled, Python 3.4
# Requires CUDA toolkit 8.0 and CuDNN v5. For other versions, see "Install from sources" below.
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.11.0rc2-cp34-cp34m-linux_x86_64.whl
# Ubuntu/Linux 64-bit, CPU only, Python 3.5
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.11.0rc2-cp35-cp35m-linux_x86_64.whl
# Ubuntu/Linux 64-bit, GPU enabled, Python 3.5
# Requires CUDA toolkit 8.0 and CuDNN v5. For other versions, see "Install from sources" below.
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.11.0rc2-cp35-cp35m-linux_x86_64.whl
# Mac OS X, CPU only, Python 3.4 or 3.5:
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/mac/cpu/tensorflow-0.11.0rc2-py3-none-any.whl
# Mac OS X, GPU enabled, Python 3.4 or 3.5:
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/mac/gpu/tensorflow-0.11.0rc2-py3-none-any.whl
Install TensorFlow:
# Python 2
$ sudo pip install --upgrade $TF_BINARY_URL
# Python 3
$ sudo pip3 install --upgrade $TF_BINARY_URL
So easy!可以在keras里切换后端了。注意一下keras针对cnn中th和tf卷积核的数据格式
还是在刚才那个修改后端的文件里修改即可。
七、安装MXNet
个人很看好MXNet,简介、速度快、语言多、社区活跃,缺点就是时间段、文档比较少。
先按照官网教程安装
We need git to clone MXNet source code repository to your machine.
# Install git if not already installed.
sudo apt-get update
sudo apt-get -y install git# Clone mxnet repository. In terminal, run the commands WITHOUT "sudo"
git clone https://github.com/dmlc/mxnet.git ~/MXNet/mxnet --recursive
# Install MXNet dependencies
cd ~/MXNet/mxnet/setup-utils
bash install-mxnet-ubuntu.sh
# We have added MXNet Python package path in your ~/.bashrc.
# Run below command to refresh environment variables.
$ source ~/.bashrc
下面我们需要修改config.mk文件使其使用gpu
cd MXNet/mxnet
cp make/config.mk .
到mxnet目录编辑config.mk文件
改这几处(文件里本身带教程)
USE_CUDA = 1
USE_CUDA_PATH = /usr/local/cuda
USE_CUDNN = 1
保存make clean
make -j4
MXNet至此完成
打开python,试验一下
import mxnet as mx
a = mx.nd.ones((2, 3),
... mx.gpu())
print (a * 2).asnumpy()
至此,框架安装结束!
如果我的文档能帮你避掉一两个坑,我将感到无比的欣慰
如有安装过程、代码命令的错误以及侵权等质疑请务必联系我!