ubuntu16.04配置安装caffe

时间：2021-09-03 18:27:55

经过两天坚持不懈，终于在Ubuntu16.04系统上将caffe成功配置。过程中踩过无数个坑，遇到很多错误，幸运的是这些错误都解决了，因此撰写该博客记录caffe的配置过程，以及对配置过程中遇到的错误提供解决办法，避免今后再配置caffe时又踩坑。

电脑配置

  • 系统：Ubuntu16.04
  • GPU:NVIDIA GTX1080

安装过程

1.安装相关依赖项

sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler 
sudo apt-get install --no-install-recommends libboost-all-dev
sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4

2.安装NVIDIA驱动

（1）查询NVIDIA驱动

首先去官网(http://www.nvidia.com/Download/index.aspx?lang=en-us)查看适合自己显卡的驱动： 
ubuntu16.04配置安装caffe
图1.显卡驱动查询 
例如本人电脑的显卡驱动如下图： 
ubuntu16.04配置安装caffe
图2.显卡驱动版本

（2）安装驱动

安装之前先卸载已经存在的驱动版本：

sudo apt-get remove --purge nvidia*
  • 1
  • 1
  • 1

若电脑是集成显卡（NVIDIA独立显卡忽略此步骤），需要在安装之前禁止一项：

sudo service lightdm stop
  • 1
  • 1
  • 1

执行以下指令安装驱动：

sudo add-apt-repository ppa:xorg-edgers/ppa
sudo apt-get update
sudo apt-get install nvidia-367 #注意在这里指定自己的驱动版本！
  • 1
  • 2
  • 3
  • 1
  • 2
  • 3
  • 1
  • 2
  • 3

安装完成之后输入以下指令进行验证：

sudo nvidia-smi
  • 1
  • 1
  • 1

若列出了GPU的信息列表则表示驱动安装成功。

3.安装CUDA

CUDA是NVIDIA的编程语言平台，想使用GPU就必须要使用cuda。

（1）下载CUDA

首先在官网上(https://developer.nvidia.com/cuda-downloads)下载CUDA： 
ubuntu16.04配置安装caffe 
图3.CUDA下载

（2）安装CUDA

下载完成后执行以下命令：

sudo sh cuda_8.0.27_linux.run
  • 1
  • 1
  • 1

注意：执行后会有一系列提示让你确认，但是注意，有个让你选择是否安装nvidia361驱动时，一定要选择否：

Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 361.62?
  • 1
  • 1
  • 1

因为前面我们已经安装了更加新的nvidia367，所以这里不要选择安装。其余的都直接默认或者选择是即可。 
可能出现的错误： 
当出现“unsupport complier”错误时，说明gcc版本太高，需要降低gcc版本。解决办法如下： 
以gcc4.9与g++4.9为例 
安装低版本gcc与g++：

sudo apt-get install gcc-4.9 g++-4.9
  • 1
  • 1
  • 1

之后进入/usr/bin:

cd /usr/bin
  • 1
  • 1
  • 1

先删除和gcc5.0关联的gcc:

sudo rm gcc
sudo rm g++
  • 1
  • 2
  • 1
  • 2
  • 1
  • 2

再建个软连接

sudo ln -s gcc-4.9 gcc
sudo ln -s g++-4.9 g++
  • 1
  • 2
  • 1
  • 2
  • 1
  • 2

然后重新安装。

（3）环境变量配置

打开~/.bashrc文件：

sudo vim ~/.bashrc
  • 1
  • 1
  • 1

将以下内容写入到~/.bashrc尾部：

export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
  • 1
  • 2
  • 1
  • 2
  • 1
  • 2

（4）测试CUDA的sammples

cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery #由自己电脑目录决定
make
sudo ./deviceQuery
  • 1
  • 2
  • 3
  • 1
  • 2
  • 3
  • 1
  • 2
  • 3

如果显示一些关于GPU的信息，则说明安装成功。

4.配置cuDNN

cuDNN是GPU加速计算深层神经网络的库。 
首先去官网(https://developer.nvidia.com/rdp/cudnn-download)下载cuDNN,可能需要注册一个账号才能下载。由于本人的显卡是GTX1080，所以下载版本号如下图： 
ubuntu16.04配置安装caffe 
图4.cuDNN下载 
下载cuDNN5.1之后进行解压，cd进入cuDNN5.1解压之后的include目录，在命令行进行如下操作：

sudo cp cudnn.h /usr/local/cuda/include/    #复制头文件
  • 1
  • 1
  • 1

再将cd进入lib64目录下的动态文件进行复制和链接：

sudo cp lib* /usr/local/cuda/lib64/    #复制动态链接库
cd /usr/local/cuda/lib64/sudo rm -rf libcudnn.so libcudnn.so.5    #删除原有动态文件
sudo ln -s libcudnn.so.5.0.5 libcudnn.so.5  #生成软衔接
sudo ln -s libcudnn.so.5 libcudnn.so      #生成软链接
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4

5.安装opencv3.1

从官网(http://opencv.org/downloads.html)下载OpenCV,并将其解压到你要安装的位置，假设解压到了/home/opencv。 
安装前准备，创建编译文件夹：

cd ~/opencv
mkdir build
cd build
  • 1
  • 2
  • 3
  • 1
  • 2
  • 3
  • 1
  • 2
  • 3

配置：

cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..
  • 1
  • 1
  • 1

编译：

make -j8 #-j8表示并行计算，根据自己电脑的配置进行设置，配置比较低的电脑可以将数字改小或不使用，直接输make。
  • 1
  • 1
  • 1

以上只是将opencv编译成功，还没将opencv安装，需要运行下面指令进行安装：

sudo make install
  • 1
  • 1
  • 1

可能会出现的错误： 
错误内容1：

gcc-4.9: error trying to exec 'cc1plus': execvp: 
没有那个文件或目录
  • 1
  • 2
  • 1
  • 2
  • 1
  • 2

说明gcc与g++版本不兼容，解决办法跟gcc版本太高时一样： 
安装低版本gcc与g++：

sudo apt-get install gcc-4.9 g++-4.9
  • 1
  • 1
  • 1

之后进入/usr/bin:

cd /usr/bin
  • 1
  • 1
  • 1

先删除和gcc5.0关联的gcc:

sudo rm gcc
sudo rm g++
  • 1
  • 2
  • 1
  • 2
  • 1
  • 2

再建个软连接

sudo ln -s gcc-4.9 gcc
sudo ln -s g++-4.9 g++
  • 1
  • 2
  • 1
  • 2
  • 1
  • 2

错误内容2：

modules/cudalegacy/src/graphcuts.cpp:120:54: error: 
‘NppiGraphcutState’ has not been declared
typedef NppStatus (*init_func_t)(NppiSize oSize, 
NppiGraphcutState** ppState, Npp8u* pDeviceMem);
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4

这是因为opecv3.0与cuda8.0不兼容导致的。解决办法： 
修改 ～/opencv/modules/cudalegacy/src/graphcuts.cpp文件内容，如图： 
ubuntu16.04配置安装caffe 
图5.文件修改

6.配置caffe

（1）将终端cd到要安装caffe的位置。 
（2）从github上获取caffe：

git clone https://github.com/BVLC/caffe.git
  • 1
  • 1
  • 1

注意：若没有安装Git，需要先安装Git：

sudo apt-get install git
  • 1
  • 1
  • 1

（3）因为make指令只能make Makefile.config文件，而Makefile.config.example是caffe给出的makefile例子，因此，首先将Makefile.config.example的内容复制到Makefile.config：

sudo cp Makefile.config.example Makefile.config
  • 1
  • 1
  • 1

（4）打开并修改配置文件：

sudo gedit Makefile.config #打开Makefile.config文件
  • 1
  • 1
  • 1

根据个人情况修改文件： 
a.若使用cudnn，则

将
#USE_CUDNN := 1
修改成： 
USE_CUDNN := 1
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4

b.若使用的opencv版本是3的，则

将
#OPENCV_VERSION := 3 
修改为： 
OPENCV_VERSION := 3
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4

c.若要使用Python来编写layer，则

将
#WITH_PYTHON_LAYER := 1 
修改为 
WITH_PYTHON_LAYER := 1
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4

d. 重要的一项 : 
将# Whatever else you find you need goes here.下面的

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib 
修改为： 
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial
  • 1
  • 2
  • 3
  • 4
  • 5
  • 1
  • 2
  • 3
  • 4
  • 5
  • 1
  • 2
  • 3
  • 4
  • 5

这是因为ubuntu16.04的文件包含位置发生了变化，尤其是需要用到的hdf5的位置，所以需要更改这一路径. 
（5）修改makefile文件 
打开makefile文件，做如下修改：

将：
NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)
替换为：
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4

（6）编辑/usr/local/cuda/include/host_config.h 
将其中的第115行注释掉：

将
#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!
改为
//#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4

（7）编译

make all -j8 #-j根据自己电脑配置决定
  • 1
  • 1
  • 1

编译过程中可能会出现如下错误： 
错误内容1：

"fatal error: hdf5.h: 没有那个文件或目录"
  • 1
  • 1
  • 1

解决办法： 
step1:在Makefile.config文件的第85行，添加/usr/include/hdf5/serial/ 到 INCLUDE_DIRS，也就是把下面第一行代码改为第二行代码。

将：
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
替换为：
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4

stept2:在Makefile文件的第173行，把 hdf5_hl 和hdf5修改为hdf5_serial_hl 和 hdf5_serial，也就是把下面第一行代码改为第二行代码。

将：
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5
改为：
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4

错误内容2：

"libcudart.so.8.0 cannot open shared object file: No such file or directory"
  • 1
  • 1
  • 1

解决办法是将一些文件复制到/usr/local/lib文件夹下：

#注意自己CUDA的版本号！
sudo cp /usr/local/cuda-8.0/lib64/libcudart.so.8.0 /usr/local/lib/libcudart.so.8.0 && sudo ldconfig
sudo cp /usr/local/cuda-8.0/lib64/libcublas.so.8.0 /usr/local/lib/libcublas.so.8.0 && sudo ldconfig
sudo cp /usr/local/cuda-8.0/lib64/libcurand.so.8.0 /usr/local/lib/libcurand.so.8.0 && sudo ldconfig
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4

（8）测试

sudo make runtest
  • 1
  • 1
  • 1

如果运行之后出现下图，说明caffe配置成功。 
ubuntu16.04配置安装caffe
图6.caffe测试结果 
到此caffe配置完毕！

MNIST数据集测试

配置caffe完成后，我们可以利用MNIST数据集对caffe进行测试，过程如下： 
1.将终端定位到Caffe根目录

cd ~/caffe
  • 1
  • 1
  • 1

2.下载MNIST数据库并解压缩

./data/mnist/get_mnist.sh
  • 1
  • 1
  • 1

3.将其转换成Lmdb数据库格式

./examples/mnist/create_mnist.sh
  • 1
  • 1
  • 1

4.训练网络

 ./examples/mnist/train_lenet.sh
  • 1
  • 1
  • 1

训练的时候可以看到损失与精度数值，如下图： 
ubuntu16.04配置安装caffe
图7.MNIST数据集训练 
可以看到最终训练精度是0.9914。

原文地址：

http://blog.csdn.net/zouyu1746430162/article/details/54095807

标签：

相关文章