Ubuntu16.04安装配置Caffe教程(GPU版)

时间:2020-12-12 06:27:11


https://blog.csdn.net/yggaoeecs/article/details/79163789


此教程主要借鉴自:

GPU版:http://www.linuxidc.com/Linux/2016-12/138870.htm

CPU版:http://www.linuxidc.com/Linux/2016-09/135034.htm

 
1   电脑配置及软件说明

1)     Ubuntu 16.04 x64系统,GPU:Quadro M4000(提示:在linux下可以通过命令lspic | grep –i vga 查看)

2)     Caffe:Convolutional Architecture for Fast FeatureEmbedding

3)     NVIDIA显卡驱动(不同的GPU对应不同的版本)

4)     CUDA 9.0

5)     cuDNN v7.0.5 for CUDA 9.0

6)     OpenCV 3.2.0

 
2          安装NVIDIA GPU驱动
2.1         查询GPU驱动

首先去NVIDIA官网http://www.nvidia.com/Download/index.aspx?lang=en-us查看适合自己显卡的驱动并下载。如下图1,图2所示。

图1. 填写GPU和系统信息

图2. 搜索结果

       本文中显卡型号是Quadro M4000,系统linux 64-bit,按照要求点击serach出现图2所示搜索结果,点击下载。本文中下载的驱动文件是:NVIDIA-Linux-x86_64-384.111.run。

注意:我们要把这个文件放到英文目录(e.g. /home)下,原因是下面我们要切换到文字界面下,如果放到中文目录下,我们没有办法进入这个目录(没有中文输入法,且中文全部是乱码)。
2.2         安装GPU驱动
2.2.1         屏蔽自带显卡驱动

1) 在终端下输入: sudo gedit /etc/modprobe.d/blacklist.conf

2) 输入密码收在最后一行加上:blacklist nouveau. 这里是将Ubuntu自带的显卡驱动加入黑名单

3) 在终端输入:sudo update-initramfs –u,使修改生效

4) 重启电脑
2.2.2         安装新驱动

1) 启动电脑后,按Ctrl+Alt+F1~F6进入命令行界面(安装GPU驱动要求在命令行环境),输入用户名和密码进入用户目录

2) 输入命令:sudo service lightdm stop

3) 进入驱动所在的文件夹,sudo chmod +x ./NVIDIA-Linux-x86_64-384.111.run,修改权限。然后:sudo ./NVIDIA-Linux-x86_64-384.111.run,进入安装程序

4) 完成安装后,重启电脑

5) 重启电脑后,输入以下指令进行验证:sudo nvidia-smi,若列出了GPU的信息列表则表示驱动安装成功。如下图3所示。

图3. GPU信息列表
3          安装CUDA

CUDA是NVIDIA的编程语言平台,想使用GPU就必须要使用cuda。

(1)   下载CUDA

首先在官网上https://developer.nvidia.com/cuda-downloads下载CUDA。下载CUDA时一定要注意CUDA和NVIDIA显卡驱动的适配性。现在的情况是:CUDA_8.0支持375.**及以上系列的显卡驱动;CUDA_9.0支持384.**及以上系列的显卡驱动;CUDA_9.1支持389.**及以上系列的显卡驱动。本文中的显卡驱动为384.111系列,所以不能下载最新版本的CUDA_9.1,最后下载的是cuda_9.0.176_384.81_linux.run(当然,CUDA_8.0也是没问题的)。下载界面如下图4所示。

图4. CUDA_9.0下载界面

(2)   运行安装程序

执行以下命令:

sudo chmod 777 cuda_9.0.176_384.81_linux.run

sudo ./cuda_9.0.176_384.81_linux.run

注意:执行后会有一系列提示让你确认,但是注意,有个让你选择是否安装nvidia384驱动时,一定要选择否:Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 384.**?

因为前面我们已经安装了更加新的nvidia384,所以这里不要选择安装。其余的都直接默认或者选择是即可。

(3)   环境变量设置

打开~/.bashrc文件:sudo gedit ~/.bashrc

将以下内容写入到~/.bashrc尾部:

exportPATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}

exportLD_LIBRARY_PATH=/usr/local/cuda/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

(4)    测试CUDA是否安装成功

执行以下命令:

cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery

sudo make

sudo ./deviceQuery

如果显示一些关于GPU的信息,则说明安装成功。如下图5所示。

图5. CUDA测试信息
4          配置cuDNN

cuDNN是GPU加速计算深层神经网络的库。

(1)   首先去官网 https://developer.nvidia.com/rdp/cudnn-download 下载cuDNN,需要注册一个账号才能下载。下载cuDNN时也一定要注意与CUDA版本的适配性,此信息官网中已经给的很清楚。下载界面如下图6所示。

图6. cuDNN下载界面

(2)   下载cuDNN后进行解压:sudo tar -zxvf ./cudnn-9.0-linux-x64-v7.tgz

(3)   进入解压后的文件夹下的include目录,在命令行进行如下操作:

cd cuda/include

sudo cp cudnn.h/usr/local/cuda/include  #复制头文件到cuda头文件目录

(4)   进入lib64目录下,对动态文件进行复制和软链接

cd ..

cd lib64

sudo cp lib*/usr/local/cuda/lib64/    #复制动态链接库

cd /usr/local/cuda/lib64/

sudo rm -rf libcudnn.solibcudnn.so.7    #删除原有动态文件

sudo ln -s libcudnn.so.7.0.5libcudnn.so.7  #生成软衔接

sudo ln -s libcudnn.so.7libcudnn.so      #生成软链接
5          安装OpenCV3.2

详细的安装请参考:http://www.linuxidc.com/Linux/2017-07/145446.htm

(1)   从官网(http://opencv.org/downloads.html)下载Opencv,并将其解压到你要安装的位置,假设解压到了/home/opencv。

unzip opencv-3.2.0.zip

sudo cp ./opencv-3.2.0 /home/username

sudo mv opencv-3.2.0 opencv

 

(2)   安装前准备,创建编译文件夹

cd ~/opencv

mkdir build

cd build

 

(3)   配置

sudo apt install cmake

sudo cmake -D CMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=/usr/local ..

 

(4)   编译

sudo make -j8 (-j8表示并行计算,根据自己电脑的配置进行设置,配置比较低的电脑可以将数字改小或不使用,直接输make)

 

(5)   安装

以上只是将opencv编译成功,还没将opencv安装,需要运行下面指令进行安装:

sudo make install
6          配置Caffe

(1)   安装相关依赖

sudoapt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-devlibhdf5-serial-dev protobuf-compiler

sudoapt-get install --no-install-recommends libboost-all-dev

sudoapt-get install libopenblas-dev liblapack-dev libatlas-base-dev

sudoapt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

(2)   下载Caffe

使用Git直接下载Caffe非常简单,或者去https://github.com/BVLC/caffe下载。

下载完成后,会在家目录下的下载里找到caffe-master.zip,用unzip命令解压到家目录下,然后重命名为caffe。

 

(3)   修改Makefile.config

因为make指令只能make Makefile.config文件,而Makefile.config.example是caffe给出的makefile例子。因此,首先将Makefile.config.example的内容复制到Makefile.config:

sudo cpMakefile.config.example Makefile.config

打开并修改配置文件:

sudogedit Makefile.config #打开Makefile.config文件 根据个人情况修改文件:

a.      若使用cudnn,则将

#USE_CUDNN:= 1

修改成:

USE_CUDNN:= 1

b.      若使用的opencv版本是3的,则将

#OPENCV_VERSION:= 3

修改为:

OPENCV_VERSION:= 3

c.      若要使用python来编写layer,则将

#WITH_PYTHON_LAYER:= 1

修改为WITH_PYTHON_LAYER := 1

d.      重要的一项,将

#Whatever else you find you need goes here. 下面的

INCLUDE_DIRS:= $(PYTHON_INCLUDE) /usr/local/include

LIBRARY_DIRS:= $(PYTHON_LIB) /usr/local/lib /usr/lib

修改为:

INCLUDE_DIRS:= $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial

LIBRARY_DIRS:= $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/usr/lib/x86_64-linux-gnu/hdf5/serial      

这是因为Ubuntu16.04的文件包含位置发生了变化,尤其是需要用到的hdf5的位置,所以需要更改这一路径。

 

(4)   修改Makefile文件

打开Makefile文件,做如下修改,将:

NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC$(COMMON_FLAGS)

替换为:

NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX)-Xcompiler -fPIC $(COMMON_FLAGS)

 

(5)   编辑/usr/local/cuda/include/host_config.h

将其中的第115行注释掉,将

#error-- unsupported GNU version! gcc versionslater than 4.9 are not supported!

改为:

//#error-- unsupported GNU version! gcc versionslater than 4.9 are not supported!

 

(6)   编译

make all -j8  #-j根据自己电脑配置决定

 

(7)   测试

sudo make runtest

如果运行之后出现下图7所示,说明caffe配置成功。

图7. Caffe测试成功运行结果
7          MNIST数据集测试

配置caffe完成后,我们可以利用MNIST数据集对caffe进行测试,过程如下:

1.将终端定位到Caffe根目录

cd ~/caffe

 

2.下载MNIST数据库并解压缩

./data/mnist/get_mnist.sh

 

3.将其转换成Lmdb数据库格式

./examples/mnist/create_mnist.sh

 

4.训练网络

./examples/mnist/train_lenet.sh

训练的时候可以看到损失与精度数值,如下图8所示:

图8. Lenet-5网络运行结果
---------------------  
作者:yggaoeecs  
来源:CSDN  
原文:https://blog.csdn.net/yggaoeecs/article/details/79163789  
版权声明:本文为博主原创文章,转载请附上博文链接!