图像处理之OpenCV基础图像容器Mat

1 数字图像存储概述

我们可以通过各种各样的方法从现实世界获取到数字图像，如借助相机、扫描仪、计算机摄像头或磁共振成像等。通常由显示屏上看到的都是真实而漂亮的图像，但是这些图像在转化到我们的数字设备中时，记录的却是图像中的每个点的数值。比如在下图中你可以看到草坪的颜色是一个包含众多强度值的像素点矩阵。可以这样说，矩阵就是图像在数码设备中的表现形式。OpenCV 作为一个计算机视觉库，其主要的工作是处理和操作并进一步了解这些形式和信息。因此，理解OpenCV 是如何存储和处理图像是非常有必要的。那么，就让我们来进一步了解和学习。

2 Mat结构的使用

自2001年以来，OpenCV的函数库一直是基于C接口构建的，因此在最初的几个OpenCV版本中，一般使用名为Ipllmage的C语言结构体在内存中存储图像。时至今日，这仍出现在大多数的旧版教程和教学材料中，如最经典的OpenCV教程《Learning OpenCV》。

对于OpenCV1．X时代的基于C语言接口而建的图像存储格式Ipllmage*，如果在退出前忘记release掉的话，就会照成内存泄露，而且用起来有些不便，我们在调试的时候，往往要花费很多时间在手动释放内存的问题上。虽然对于小型的程序来说，手动管理内存不是问题，但一旦需要书写和维护的代码越来越庞大，我们便会开始越来越多地纠缠于内存管理的问题，而不是着力解决最终的开发目标。这，就有些舍本逐末的感觉了。

幸运的是，C＋＋出现了，并且带来了类的概念，这使我们有了另外一个选择：自动的内存管理（非严格意义上的）。这对于广大图像处理领域的研究者来说，的确是一件可喜可贺的事情。也就是说，OpenCV在2.0版本中引入了一个新的C＋＋接口，利用自动内存管理给出了解决问题的新方法。使用此方法，我们不需要再纠结在管理内存的问题，而且代码会变得干净而简洁。

但C＋＋接口唯一的不足是：当前许多嵌入式开发系统只支持C语言。所以，当开发目标不是仅能使用C语言作为开发语言时，便没有必要使用旧的C语言接口了，除非你真的很有自信。

从OpenCV踏入2.0时代，使用Mat类数据结构作为主打之后，OpenCV变得越发像需要很少编程涵养的Matlab那样，上手很方便。甚至有些函数名称都和Matlab一样，比如大家所熟知的imread、imwrite、imshow等函数。 关于Mat类，首先我们要知道的是： （1）不必再手动为其开辟空间。 （2）不必再在不需要时立即将空间释放。 这里指的是手动开辟空间并非必须，但它依旧是存在的—大多数 OpenCV函数仍会手动地为输出数据开辟空间。当传递一个已经存在的Mat 对象时，开辟好的矩阵空间会被重用。也就是说，我们每次都使用大小正好的内存来完成任务。

总而言之，Mat是一个类，由两个数据部分组成：矩阵头（包含矩阵尺寸、存储方法、存储地址等信息）和一个指向存储所有像素值的矩阵（根据所选存储方法的不同，矩阵可以是不同的维数）的指针。矩阵头的尺寸是常数值，但矩阵本身的尺寸会依图像的不同而不同，通常比矩阵头的尺寸大数个数量级。因此，当在程序中传递图像并创建副本时，大的开销是由矩阵造成的，而不是信息头。OpenCV 是一个图像处理库，囊括了大量的图像处理函数，为了解决问题通常要使用库中的多个函数，因此在函数中传递图像是常有的事。同时不要忘了我们正在讨论的是计算量很大的图像处理算法，因此，除非万不得已，不应该进行大图像的复制，因为这会降低程序的运行速度。

为了解决此问题，OpenCV使用了引用计数机制。其思路是让每个Mat 对象有自己的信息头，但共享同一个矩阵。这通过让矩阵指针指向同一地址而实现。而拷贝构造函数则只复制信息头和矩阵指针，而不复制矩阵。

来看下面这段代码。

Mat A,C;//仅创建信息头部分
A＝ imread(＂1．jpg＂， CV＿LOAD＿IMAGE＿COLOR);//这里为矩阵开辟内存
Mat B(A);//使用拷贝构造函数
C＝A;//赋值运算符

以上代码中的所有Mat对象最终都指向同一个也是唯一一个数据矩阵。虽然它们的信息头不同，但通过任何一个对象所做的改变也会影响其他对象。实际上，不同的对象只是访问相同数据的不同途径而已。这里还要提及一个比较棒的功能：我们可以创建只引用部分数据的信息头。比如想要创建一个感兴趣区域（ROI），只需要创建包含边界信息的信息头：

Mat D (A，Rect（10,10,100,100));//使用矩形界定
Mat E＝A(Range：a11(), Range(1,3));//用行和列来界定

现在你也许会问：如果矩阵属于多个 Mat 对象，那么当不再需要它时，谁来负责清理呢？

简单的回答是：最后一个使用它的对象。通过引用计数机制来实现。我们无论什么时候复制一个Mat对象的信息头，都会增加矩阵的引用次数。反之，当一个头被释放之后，这个计数被减一；当计数值为零，矩阵会被清理。但某些时候你仍会想复制矩阵本身（不只是信息头和矩阵指针），这时可以使用函数 clone（）或者 copyTo（）。

Mat F=A.clone(); Mat G;
A.copyTo(G);

现在改变F或者G就不会影响 Mat 信息头所指向的矩阵。本小节可总结为如下要点。

• OpenCV函数中输出图像的内存分配是自动完成的（如果不特别指定的话）。
• 使用OpenCV的C＋＋接口时不需要考虑内存释放问题。
• 赋值运算符和拷贝构造函数（构造函数）只复制信息头。
• 使用函数 clone（或者copyTo（来复制一幅图像的矩阵。

3 像素值的存储方法

本节我们将讲解如何存储像素值。存储像素值需要指定颜色空间和数据类型。其中，颜色空间是指针对一个给定的颜色，如何组合颜色元素以对其编码。最简单的颜色空间要属灰度级空间，只处理黑色和白色，对它们进行组合便可以产生不同程度的灰色。

对于彩色方式则有更多种类的颜色空间，但不论哪种方式都是把颜色分成三个或者四个基元素，通过组合基元素可以产生所有的颜色。RGB颜色空间是最常用的一种颜色空间，这归功于它也是人眼内部构成颜色的方式。它的基色是红色、绿色和蓝色，有时为了表示透明颜色也会加入第四个元素alpha（A）。

颜色系统有很多，它们各有优势，具体如下。

• RGB是最常见的，这是因为人眼采用相似的工作机制，它也被显示设备所采用
• HSV和HLS把颜色分解成色调、饱和度和亮度／明度。这是描述颜色更自然的方式，比如可以通过抛弃最后一个元素，使算法对输入图像的光照条件不敏感
• YCrCb在JPEG图像格式中广泛使用
• CIE Lab* 是一种在感知上均匀的颜色空间，它适合用来度量两个颜色之间的距离

每个组成元素都有其自己的定义域，而定义域取决于其数据类型，如何存储一个元素决定了我们在其定义域上能够控制的精度。最小的数据类型是 char，占一个字节或者8位，可以是有符号型（0到255之间）或无符号型（—127到＋127之间）。尽管使用三个 char 型元素已经可以表示1600万种可能的颜色（使用RGB颜色空间），但若使用float（4字节，32位）或double（8字节，64位）则能给出更加精细的颜色分辨能力。但同时也要切记，增加元素的尺寸也会增加图像所占的内存空间。

4 显式创建Mat对象的七种方法

在之前的章节中，我们已经讲解了如何使用函数imwrite（）函数将一个矩阵写入图像文件中。但是作为debug，更加方便的方式是看实际值，我们可以通过Mat的运算符“＜＜”来实现。但要记住，Mat的运算符“＜＜”只对二维矩阵有效。

Mat 不但是一个非常有用的图像容器类，同时也是一个通用的矩阵类，我们也可以用它来创建和操作多维矩阵。 创建一个Mat对象有多种方法，列举如下。 (1) 使用Mat（）构造函数 最常用的方法是直接使用Mat（）构造函数，这种方法简单明了，示范代码如下。

Mat M(2,2,cv_8UC3,Scalar(0,0,255));
cout<<"M="<< end1 <<"" <<M << endl << endl;

上述代码的运行结果如下图所示。

对于二维多通道图像，首先要定义其尺寸，即行数和列数。然后，需要指定存储元素的数据类型以及每个矩阵点的通道数。为此，依据下面的规则有多种定义：

CV_[The number of bits per item] [Signed or Unsigned] [Type Prefix]CIThe channel number]

即： CV＿［位数］［带符号与否］［类型前缀］C［通道数］

比如CV＿8UC3表示使用8位的unsigned char型，每个像素由三个元素组成三通道。而预先定义的通道数可以多达四个。另外，Scalar是个short型的向量， 能使用指定的定制化值来初始化矩阵，它还可以用于表示颜色，后文有详细讲解。当然，若需要更多通道数，可以使用大写的宏并把通道数放在小括号中，如方法二中的代码所示。

(2) 在C\C＋＋中通过构造函数进行初始化 这种方法为在C\C＋＋中通过构造函数进行初始化，示范代码如下。

int sz[3]={2,2,2};
Mat L(3,sz,cv_8UC, Scalar::a11(0));

上面的例子演示了如何创建一个超过两维的矩阵：指定维数，然后传递一个指向一个数组的指针，这个数组包含每个维度的尺寸；后续的两个参数与方法一中的相同。

(3) 为已存在的 Ipllmage 指针创建信息头 方法三是为已存在的Ipllmage指针创建信息头，示范代码如下。

IplImage* img = cvLoadImage("1.jpg",1);
Mat mtx（img）；／／ 转换 IplImage＊-＞Mat

(4) 利用Create（）函数 方法四是利用Mat类中的Create（）成员函数进行Mat类的初始化操作，示范代码如下。

M.create(4,4,cv_8UC(2));
cout <<"M="<<endl<<""<<M<<endl << endl;

上述代码的运行结果如下图所示。

需要注意的是，此创建方法不能为矩阵设初值，只是在改变尺寸时重新为矩阵数据开辟内存而已。

(5) 采用Matlab式的初始化方式 方法五采用Matlab 形式的初始化方式：zeros（），ones（），eyes（）。使用以下方 式指定尺寸和数据类型：

Mat E = Mat::eye(4, 4,CV_64F);
cout<<"E="<<endl<<""<<E<<endl << endl; Mat O=Mat::ones(2,2,CV_32F);
cout<<"0="<<
end1<<
o<<endl <<endl; Mat Z=Mat::zeros(3,3,cv_8UC1);
cout <<"Z=" << endl <<""<<2<<endl <<endl;

(6) 对小矩阵使用逗号分隔式初始化函数 方法六为对小矩阵使用逗号分隔式初始化函数，示范代码如下。

Mat C = (Mat_<double>(3, 3) << 0,-1,0,-1,5, -1,0, -1, 0); 
out << "C = " << C << endl << endl;

上述代码的运行结果如图所示。

(7) 为已存在的对象创建新信息头

方法七为使用成员函数clone() 或者 copy()为一个已存在的Mat对象创建一个新的信息头，示范代码如下。

Mat RowClone=C.row(1).clone();
cout << "RowClone = " << RowClone << endl << endl;

上述代码的运行结果如图所示。