双目视觉(stereo vision),由于估计深度相对容易且稠密,在姿态估计和建图时容易初始化和估计尺度,所以在三维重建,SLAM等的应用中有这广泛的应用。
ZED 作为近几年出现的商业化双目传感器,相比较同类的商业化产品,或者DIY双目相机,ZED在集成度,距离(20m),实时性(深度图在最小分辨率下可达60fps以上),分辨率(2K)和效果上具有一定的优势。449刀的价格也还算可以接受。 以往ZED的ubuntu下,由于ubuntu系统版本的支持问题,NVIDIA,cuda相关驱动安装麻烦,同时对ROS的支持度一般,所以使用ZED的人有限。不过随着Stereolabs,Ubuntu,NVIDIA各自新版本设备的发布,以及广大研究者的努力,目前SKD 2.0以上版本已经能够比较方便的在linux下开发使用。
本文整理概括了,在ubuntu 16.04系统中 安装ZED的主要流程以及在安装使用过程中遇到的一些问题和解决方案,希望对于也想在linux和ROS下使用ZED的开发者有所帮忙。
假设我们已经安装好了ubuntu16.04,那么主要的步骤可以分成:
1 安装设置ROS
2 安装NVIDIA显卡驱动
3 安装CUDA
4 安装ZED SDK
5 使用 ZED ROS Interface
1、 安装设置ROS
ROS是一个挺大的题目,不是一两句能够说清楚的。不过ROS官方网站上的Tutorials(ROS tutorial)写的比较详细,过一遍beginner level的tutorials应该就能对ROS有一个大致的了解。
ROS安装的相关参考,可以看(ROS for Ubuntu ),这里就不多说了。按照步骤安装,只要网络流畅,一般没有太大问题。
2、 安装NVIDIA显卡驱动
在linux下安装显卡驱动是一段非常东痛苦的精力,搞得不好,一重启就黑屏。如果是多显卡的机器,也会遇到无法切换,或者各种版本不兼容的问题。
在安装之前,首先确认你的电脑是否在BIOS上有secure boot,如果有进入BIOS,把secure boot 设置成disable。 (这设置十分重要,不然会出现无法安装CUDA的情况)
总结下来,目前比较方便的方式安装NVIDIA显卡驱动的方式是使用PPA,只要你能够根据你的显卡型号,选择合适版本的驱动,一般不会出现一些神奇的问题。
2.1首先需要确定你的显卡对应的驱动版本是: 可以利用官方提供的驱动下载查询界面: NVIDIA 驱动查询
举个例子,如果我们的显卡是GTX745,通过搜索驱动的信息是 Linux x64 (AMD64/EM64T) Display Driver Version: 375.39 Release Date: 2017.2.14 Operating System: Linux 64-bit
查到后不用点击下载,我们通过PPA来安装。
2.2 添加PPA
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
然后在 software & updates中的Additional Drivers的标签,找到和之前查到GPU驱动版本一致的条目,点击apply changes
重启之后应该就安装好了。
安装好之后会有一个NVIDIA X server setting,里面会有GPU-0 显示的就是NVIDIA显卡。如果是多显卡,在PRIME profile选项中,可以选择使用哪个显卡。
3. CUDA
CUDA的安装,根据不同的显卡型号,不同电脑的BIOS设置,不同的CUDA版本都会有一些不同。这里整理了一下 ZED_SDK2.0 所需要的CUDA 8。
为了避免一系列可能会出现的问题,在安装CUDA之前,可以进行一下安装前的自检,自检可以参照官方给的文档(CUDA安装前自检)
如果没有问题,那就继续。
从官方主页上下载CUDA ,我遇到的情况是,如果是 下载Local版的CUDA,或者直接点击ZED SDK让他自己下载CUDA装,都会在安装ZED SKD时出现找不到CUDA8的提示,在试了很多次之后,偶尔一次使用了CUDA下载页面中的 deb(network)版本,然后就成功了。 暂时将次作为一种解决方案,有待更多人的验证。
$ sudo dpkg -i cuda-repo-<distro>_<version>_<architecture>.deb
$ sudo apt-get update
$ sudo apt-get install cuda
如果提示找不到apt-get install cuda时 找不到package
sudo dpkg --purge cuda-repo-ubuntu1604
4. ZED SDK
如果按照之前的安装步骤,在安装ZED SDK的过程中,应该不会有提示没有GPU 或者没有CUDA,如果有需要返回2,3进行确认。
chmod +x ZED_SDK_Linux_Ubuntu16_v2.0.0.run
./ZED_SDK_Linux_Ubuntu16_v2.0.0.run
在安装的最后,会遇到提示一些文件找不到,这些都是ZED SDK需要的一些第三方库,一般缺啥补啥,用apt-get就能搞定。
如果提示opencv的一些3.1.so文件缺失,这个问题需要注意。
其实我们在安装ROS的时候,系统就应该已经安装了opencv。如果是ROS kinetic的话,应该是opencv3.2。 尝试了从新安装opencv3.1,自己编译,但是会遇到关于CUDA的一些Bug,而这个bug在3.2中会修复。所以最终使用了一个比较偷懒的方法,把相关的3.2的so文件和3.1的so文件link起来。
sudo ln -s /opt/ros/kinetic/lib/libopencv_core3.so.3.2 /usr/lib/libopencv_core.so.3.1
sudo ln -s /opt/ros/kinetic/lib/libopencv_imgcodecs3.so.3.2 /usr/lib/libopencv_imgcodecs.so.3.1
sudo ln -s /opt/ros/kinetic/lib/libopencv_videoio3.so.3.2 /usr/lib/libopencv_videoio.so.3.1
sudo ln -s /opt/ros/kinetic/lib/libopencv_calib3d3.so.3.2 /usr/lib/libopencv_calib3d.so.3.1
sudo ln -s /opt/ros/kinetic/lib/libopencv_imgproc3.so.3.2 /usr/lib/libopencv_imgproc.so.3.1
sudo ln -s /opt/ros/kinetic/lib/libopencv_video3.so.3.2 /usr/lib/libopencv_video.so.3.1
这样基本上就没有问题了。可以通过运行ZED/tool/ Depth view来测试安装是否正确,如果能够正常运行同时显示深度,说明SDK和GPU工作正常。
5. ZED SDK
在这次SDK更新之前,ZED能够结合ROS不过还没有很完善,2.0之后的版本和zed-ros-wrapper已经能够满足蛮多的开发使用需求。
可以git clone ZED-ROS-WRAPPER 如果想显示点云的可以结合PCL库,另外的之前都已经装好了。
cd ~/catkin_ws/
catkin_make
source ./devel/setup.bash
roslaunch zed_wrapper zed.launch
launch之后就会把各个数据以topic的形式发布出来,同时官方给的说明也还不错,需要调整ZED参数可以修改launch文件。
官方也慢慢推出了针对TK1和多ZED的相关支持。
总的来说,ZED是一个不错的平台,适合科研机构采集双目,深度,VO的数据,作为Stereo,SFM,SLAM,SceneFlow等的算法实验或作为groundtruth。也比较适合一些研究无人机,无人车以及机器人的的研究团队作为视觉的输入,完成一些定位,识别等更高层的任务。