2、将图像转换为点云 - gary_123

时间:2024-03-08 15:00:37

2、将图像转换为点云

1、它是后面处理地图的基础,最简单的点云地图就是把不同位置的点云进行拼接得到的。

2、由于从RGB-D相机里可以采集到两种形式的数据:彩色图像和深度图像。如果有kinect和ros,那么可以运行如下

roslaunch openni_launch openni.launch

来使Kinect工作。如果PC机连上Kinect,那么彩色图像和深度图像会发布在/camera/rgb/image_color 和 /camera/depth_registered/image_raw 中;可以通过运行如下

 rosrun image_view image_view image:=/camera/rgb/image_color

来显示彩色图像,或者也可以在Rviz里看到图像与点云的可视化数据。

3、rgb图像与对应的深度图像,如下

这两张图是来自于数据集nyuv2:http://cs.nyu.edu/~silberman/datasets/ 原图格式是ppm和pgm的,目前格式是png。

在实际的Kinect里(或其他rgb-d相机里)直接采到的RGB图和深度图可能会有些小问题,比如

1)有一些时差(约几到十几个毫秒)。这个时差的存在,会产生“RGB图已经向右转了,深度图还没转”的感觉。

2)光圈中心未对齐。因为深度毕竟是靠另一个相机获取的,所以深度传感器和彩色传感器参数可能不一致。

3)深度图里有很多“洞”。因为RGB-D相机不是万能的,它有一个探测距离的限制啦!太远或太近的东西都是看不见的呢。关于这些“洞”,我们暂时睁一只眼闭一只眼,不去理它。以后我们也可以靠双边bayes滤波器去填这些洞。但是!这是RGB-D相机本身的局限性。软件算法顶多给它修修补补,并不能完全弥补它的缺陷。

在以上给出的图当中,都进行了预处理,可以认为“深度图就是彩色图里每个像素距传感器的距离“。

4、现在需要把这两个图转成点云,因为计算每个像素的空间点位置,是后面配准、拼图等一系列事情的基础,比如:在配准时,必须知道特征点的3D位置,这时候就需要用到这里讲的东西。

5、从2D到3D(数学部分)

上面两张图像给出了机器人外部世界的一个局部信息,假设这个世界由一个点云来描述:X={x1,x2,...xn}。其中每一个点由六个分量组成:r,g,b,x,y,z,分别表示该点的颜色与空间位置;颜色方面,主要由彩色图像记录;而空间位置,可由图像和相机模型、姿态一起计算出来

对于常规相机,SLAM里使用针孔相机模型(图来自http://www.comp.nus.edu.sg/~cs4243/lecture/camera.pdf ):

 

一个空间点[x,y,z]和它在图像中的像素坐标[u,v,d](d指深度数据)的对应关系式这样的:

其中,fx,fy指相机在x,y两个轴上的焦距,cx,cy指相机的光圈中心,s指深度图的缩放因子。

上面的公式是从(x,y,z)推导到(u,v,d),反之,也可以已知(u,v,d),推导到(x,y,z)的方式,推导如下

那么就可以根据上式构建点云了。

通常把fx,fy,cx,cy这四个参数定义为相机的内参矩阵C,也就是相机做好之后就不会变得参数。相机的内参可以用很多方法来标定,详细的步骤比较繁琐;在给定内参之后,每个点的空间位置与像素坐标就可以用简单的矩阵模型来表示了:

其中,R和t是相机的姿态。R代表旋转矩阵,t代表位置矢量。目前我们做的是单幅图像的点云,故认为相机没有旋转和平移;所以把R射程单位矩阵I,把t设成了零。s是scaling factor,即深度图里给的数据与实际距离的比例。由于深度图给的都是short (mm单位),s通常为1000。

如果相机发生了位移和旋转,那么只要对这些点进行位移和旋转操作即可。

6、从2D到3D (编程部分)

完成从图像到点云的转换,在上一节讲到的代码根目录/src/ 文件夹中新建一个generatePointCloud.cpp文件:

touch src/generatePointCloud.cpp

在一个工程里可以有多个main函数,因为cmake允许你自己定义编译的过程,我们会把这个cpp也编译成一个可执行的二进制,只要在cmakelists.txt里作相应的更改便行了,更改如下

然后在新建的文件generatePointCloud.cpp里面编写如下代码

//c++标准库 

#include<iostream>

#include<string>

using namespace std;

//opencv库

#include<opencv2/core/core.cpp>

#include<opencv2/highgui/highgui.hpp>

//PCL库

#include<pcl/io/pcd_io.h>

#include<pcl/point_types.h>

//定义点云类型

typedef pcl::PointXYZRGBA PointT;

typedef pcl::PointCloud<PointT> PointCloud;

//相机内参

const double camera_factor=1000;

const double camera_cx=325.5;

const double camera_cy=253.5;

const double camera_fx=518.0;

const double camera_fy=519.0;

//主函数

int main(int argc,char** argv)

{

 //读取./data/rgb.png和./data/depth.png,并转化为点云

//图像矩阵

cv::Mat rgb,depth;

//使用cv::imread()来读取图像

//rgb图像是8UC3的彩色图像

rgb=cv::imread(./data/rgb.png);

//depth是16UC1的单通道图像,注意flags设置为-1,表示读取原始数据不做修改

depth=cv::imread("./data/depth.png",-1);

//点云变量

//使用智能指针,创建一个空点云。这种指针用完会自动释放

PointCloud::Ptr cloud(new PointCloud);

//遍历深度图

for(int m=0;m<depth.rows;m++)

   for(int n=0;n<depth.cols;n++)

  {

   //获取深度图中(m,n)处的值

ushort d=depth.ptr<ushort>(m)[n];

//d可能没有值,若如此,跳过此点

if(d==0)

   continue;

//d存在值,则向点云增加一个点

PointT p;

//计算这个点的空间坐标

p.z=double(d)/camera_factor;

p.x=(n-camera_cx)*p.z/camera_fx;

p.y=(m-camera_cy)*p.z/camera_fy;

//从rgb图像中获取它的颜色

//rgb是三通道的BGR格式图,所以按下面的顺序获取颜色

p.b=rgb.ptr<uchar>(m)[n*3];

p.g=rgb.ptr<uchar>(m)[n*3+1];

p.r=rgb.ptr<uchar>(m)[n*3+2];

//把p加入到点云中

cloud->points.push_back(p);

 }

//设置并保存点云

cloud->height=1;

cloud->width=cloud->points.size();

cout<<"point cloud size="<<cloud->points.size()<<endl;

cloud->is_dense=false;

pcl::io::savePCDFile("./pointcloud.pcd",*cloud);

//清楚数据并保存

cloud->points.clear();

cout<<"Point cloud saved."<<endl;

return 0;

}

分析:

1.我们使用OpenCV的imread函数读取图片。在OpenCV2里,图像是以矩阵(cv::MAt)作为基本的数据结构。Mat结构既可以帮你管理内存、像素信息,还支持一些常见的矩阵运算,是非常方便的结构。彩色图像含有R,G,B三个通道,每个通道占8个bit(也就是unsigned char),故称为8UC3(8位unsigend char, 3通道)结构。而深度图则是单通道的图像,每个像素由16个bit组成(也就是C++里的unsigned short),像素的值代表该点离传感器的距离。通常1000的值代表1米,所以我们把camera_factor设置成1000. 这样,深度图里每个像素点的读数除以1000,就是它离你的真实距离了。

2.在遍历深度图的时候,是按照“先列后行”的顺序,由于m指图像的行,n指图像的列,它和空间点的坐标关系是如下:

对于深度图第m行,第n列的数据可以用depth.ptr<ushort>(m)[n]来获取。其中,cv::Mat的ptr函数会返回指向该图像第m行数据的头指针。然后加上位移n后,这个指针指向的数据就是我们需要读取的数据。

计算三维点坐标的公式我们已经给出过了,代码里原封不动地实现了一遍。我们根据这个公式,新增了一个空间点,并放入了点云中。最后,把整个点云存储为 ./data/pointcloud.pcd 文件。

7、编译并运行

cd build

cmake ..

make

编译通过后,就可以到bin目录下运行generate_pointcloud;运行之后,就可以在data目录下生成点云文件。安装了pcl的话,就可以通过如下命令来查看点云文件

pcl_viewer pointcloud.pcd

TIPS:

  • 如果你打开点云,只看到红绿蓝三个方块,请按R重置视角。刚才你是站在原点盯着坐标轴看呢。
  • 如果点云没有颜色,请按5显示颜色。
  • cmake过程可能有PCL的警告,如果你编译成功了,无视它即可。这是程序员的本能。