ubuntu16.04 Detectron目标检测库配置(包含GPU驱动,Cuda,Caffee2等配置梳理)

时间:2023-11-25 23:36:02

Detectron概述

Detectron是Facebook FAIR开源了的一个目标检测(Object Detection)平台。

用一幅图简单说明下Object Detection。如Mask R-CNN已经能够做到多目标的Instance Segmentation。

ubuntu16.04 Detectron目标检测库配置(包含GPU驱动,Cuda,Caffee2等配置梳理)

图片来源: Fei-Fei Li, Andrej Karpathy & Justin Johnson (2016) cs231n, Lecture 8 - Slide 8, Spatial Localization and Detection (01/02/2016). Available: http://cs231n.stanford.edu/slides/2016/winter1516_lecture8.pdf

Detectron项目项目自 2016 年 下半年启动,基于Caffe2 ,目前支持大量机器学习算法和已经训练好的模型。项目地址:https://github.com/facebookresearch/Detectron

其中目标检测算法的实现包括:

Mask R-CNN (https://arxiv.org/abs/1703.06870)—Marr Prize at ICCV 2017

RetinaNet (https://arxiv.org/abs/1708.02002)—Best Student Paper Award at ICCV 2017

Faster R-CNN (https://arxiv.org/abs/1506.01497)

RPN (https://arxiv.org/abs/1506.01497)

Fast R-CNN (https://arxiv.org/abs/1504.08083)

R-FCN (https://arxiv.org/abs/1605.06409)

这些目标检测算法主要使用以下卷积网络架构:

ResNeXt{50,101,152} (https://arxiv.org/abs/1611.05431)

ResNet{50,101,152} (https://arxiv.org/abs/1512.03385)

Feature Pyramid Networks (https://arxiv.org/abs/1612.03144) (with ResNet/ResNeXt)

VGG16 (https://arxiv.org/abs/1409.1556)

Detectron配置
想要使用和理解其中各个方法,最基础的一步就是能够先配置好环境,将示例跑通,接下去也接着配置Detectron的机会,把GPU相关的配置再梳理一下。

1、GPU驱动

以往在linux下安装显卡驱动是一段非常东痛苦的经历,搞得不好,一重启就黑屏。如果是多显卡的机器,也会遇到无法切换,或者各种版本不兼容的问题。

这两年在ubuntu社区和NVIDIA官方的努力下,社区的PPA专有驱动基本已经相对稳定。

a)在安装之前,首先确认你的电脑是否在BIOS上有secure boot,如果有进入BIOS,把secure boot 设置成disable。 (这设置十分重要,不然会出现无法安装CUDA的情况)

b)如果之前已经自带的NVIDIA驱动,需要删除老的驱动

sudo apt-get –purge remove nvidia-glx nvidia-glx-new
sudo apt-get –purge remove nvidia-settings nvidia-kernel-common

c)确保万无一失,在原有驱动删除之后,需要将Ubuntu集成的开源驱动加入黑名单,即修改/etc/modprobe.d/blacklist.conf文件:

sudo gedit /etc/modprobe.d/blacklist.conf

d)在该文件中增加如下两行:
blacklist nouveau
options nouveau modeset=0

e)然后需要确定你的显卡对应的驱动版本,知道自己的显卡型号后,可以利用官方提供的驱动下载查询界面:NVIDIA 驱动查询

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update

f)接着在软件中心的 software & updates中的Additional Drivers的标签,找到和之前查到GPU驱动版本一致的条目,点击apply changes
重启之后应该就安装好了。

Tips:在16.04中有遇到过,在Additional Drivers那个界面选择了GPU驱动后,点击apply changes无法更改的尴尬情况。

解决方法是直接使用命令行
sudo apt-get install nvidia-××× nvidia-prime  (XXX为对应的驱动型号)

测试驱动是否安装成功

nvidia-smi
如果出现了你的GPU列表,则说明驱动安装成功了。

2、Cuda

cuda的安装根据自己的系统选择合适的版本,为了避免一系列可能会出现的问题,在安装CUDA之前,可以进行一下安装前的自检,自检可以参照官方给的文档(CUDA安装前自检)

官网下载 cudnn 需要注册帐号并登录。官方下载网址

下载完成后,在文件所在的文件夹
sudo dpkg -i cuda-repo-ubuntu1604-×××××_amd64​.deb (××××为官方版本号)
sudo apt-get update
sudo apt-get install cuda​

如果是CUDA8.0可能会遇到gcc版本的不兼容问题,可以给GCC降级。

安装完之后,配置cuda的环境变量,在文件~/.bashrc之后加上
gedit ~/.bashrc
export PATH=/usr/local/cuda-××/bin:$PATH  (××是版本号)
export LD_LIBRARY_PATH=/usr/local/cuda-××/lib64:$LD_LIBRARY_PATH (××是版本号)

然后设置环境变量和动态链接库,在命令行输入
sudo gedit /etc/profile
在打开的文件里面加上(注意等号两边不能有空格)
export PATH=/usr/local/cuda/bin:$PATH
保存之后,创建链接文件
sudo gedit /etc/ld.so.conf.d/cuda.conf
在打开的文件中添加如下语句:
/usr/local/cuda/lib64
保存退出执行命令行:
sudo ldconfig
使链接立即生效。

Tips:之前在配置ZED双目相机的,如果是 下载Local版的CUDA,都会在安装ZED SKD时出现找不到CUDA8的提示。

在试了很多次之后,偶尔一次使用了CUDA下载页面中的 deb(network)版本,然后就成功了。 所以建议采用deb的方式安装。

测试Cuda是否安装成功:

cd /usr/local/cuda-××/samples/1_Utilities/deviceQuery (××为版本号)
sudo make
sudo ./deviceQuery

3、CuDNN

CuDNN是NVIDIA推出的针对深度学习的Cuda优化库,可以帮助提升算法效率

官方下载网址

ubuntu下使用deb比较方便,不需要自己设置环境变量

先安装runtime库,这里以cuda9.0为例。

sudo dpkg -i libcudnn7_7.0.3.11-1+cuda9.0_amd64.deb
再安装dev库
sudo dpkg -i libcudnn7-dev_7.0.3.11-1+cuda9.0_amd64.deb

4、配置Caffee2

Caffe2的安装相比于caffe的安装要简单很多,不需要自己去配置Makefile.config,可以在make的时候,自动检测GPU以各种库,例如OpenCV。如果没有就自动选择不使用。

官方的安装说明永远是最好的说明

https://caffe2.ai/docs/getting-started.html?platform=linux&configuration=compile

这里也简单梳理下流程。

首先确定系统和安装方式,这里采用直接编译源码的方式。

安装需要的库

sudo apt-get update
sudo apt-get install -y --no-install-recommends \
      build-essential \
      cmake \
      git \
      libgoogle-glog-dev \
      libgtest-dev \
      libiomp-dev \
      libleveldb-dev \
      liblmdb-dev \
      libopencv-dev \
      libopenmpi-dev \
      libsnappy-dev \
      libprotobuf-dev \
      openmpi-bin \
      openmpi-doc \
      protobuf-compiler \
      python-dev \
      python-pip                          
sudo pip install \
      future \
      numpy \
      protobuf

libgflags2根据系统选择

# 对于 Ubuntu 14.04
sudo apt-get install -y --no-install-recommends libgflags2
# 对于 Ubuntu 16.04
sudo apt-get install -y --no-install-recommends libgflags-dev

对于GPU的相关依赖我们已经在上面完成配置了,caffe2也给了官方GPU配置的说明,也可以作为一种参考。

另外如opencv库也可以根据自己的需要进行安装

完成准备工作后就可以下载源码进行编译。

git clone --recursive https://github.com/caffe2/caffe2.git && cd caffe2
make && cd build && sudo make install

测试caffe2是否安装成功

cd ~ && python -c 'from caffe2.python import core' 2>/dev/null && echo "Success" || echo "Failure"

如果是failure,试着cd到caffe2/build的文件夹里,然后执行

python -c 'from caffe2.python import core' 2>/dev/null

如果successful,说明是环境变量的设置问题,如果还是失败,则会有具体的提示。

配置环境变量,编辑~/.bashrc

export PYTHONPATH=/usr/local:$PYTHONPATH
export PYTHONPATH=$PYTHONPATH:/home/**/devapp/caffe2/build  (**为计算机名)
export LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH

5、Detectron配置

还是那句话,最好的教程是官方的文档。

https://github.com/facebookresearch/Detectron/blob/master/INSTALL.md

找个合适的文件位置进行clone
git clone https://github.com/facebookresearch/detectron

编译python库
cd DETECTRON/lib && make (DETECTRON表示你clone下来的文件夹)
测试是否编译成功
python2 $DETECTRON/tests/test_spatial_narrow_as_op.py (DETECTRON表示你clone下来的文件夹)

如果遇到缺少库的问题,可以根据报错的信息把库加上

另外的问题可以参见官方的Troubleshooting

6、Detectron简单使用

参考

https://github.com/facebookresearch/Detectron/blob/master/GETTING_STARTED.md

训练相关的我们放到之后去说,这里先说下利用已经训练好的模型和算法框架来进行目标的检测。

根据不同的需求,对象检测可以分为几种,1)Bounding box,2)Mask,3)KeyPoints

这里给出两个例子,用mask和

python2 tools/infer_simple.py \
    --cfg configs/12_2017_baselines/e2e_mask_rcnn_R-101-FPN_2x.yaml \
    --output-dir /tmp/detectron-visualizations \
    --image-ext jpg \
    --wts https://s3-us-west-2.amazonaws.com/detectron/35861858/12_2017_baselines/e2e_mask_rcnn_R-101-FPN_2x.yaml.02_32_51.SgT4y1cO/output/train/coco_2014_train:coco_2014_valminusminival/generalized_rcnn/model_final.pkl \
    demo

python2 tools/infer_simple.py \
    --cfg configs/12_2017_baselines/e2e_keypoint_rcnn_R-101-FPN_s1x.yaml \
    --output-dir /tmp/detectron-visualizations \
    --image-ext jpg \
    --wts https://s3-us-west-2.amazonaws.com/detectron/37698009/12_2017_baselines/e2e_keypoint_rcnn_R-101-FPN_s1x.yaml.08_45_57.YkrJgP6O/output/train/keypoints_coco_2014_train%3Akeypoints_coco_2014_valminusminival/generalized_rcnn/model_final.pkl \
    demo

下面第一和第二个图是Bounding box和Mask的效果,第三和第四个图是Bounding box和人体骨骼keypoints的效果。

ubuntu16.04 Detectron目标检测库配置(包含GPU驱动,Cuda,Caffee2等配置梳理)ubuntu16.04 Detectron目标检测库配置(包含GPU驱动,Cuda,Caffee2等配置梳理)

ubuntu16.04 Detectron目标检测库配置(包含GPU驱动,Cuda,Caffee2等配置梳理)ubuntu16.04 Detectron目标检测库配置(包含GPU驱动,Cuda,Caffee2等配置梳理)