opencv学习笔记-图像叠加、混合

时间:2022-07-17 01:48:19

在图像处理中,目标区域定义为感兴趣区域ROI(region of Interest),这是后期图像处理的基础,在获取ROI后,进行一些列的处理。ROI区域在Opencv中就是Rect,先构建Rect,然后给予ROI一些特点,形成了图像掩膜。

一、ROI创建

//定义一个Mat类型并给其设定ROI区域

Mat imageROI;

//方法一

imageROI=image(Rect(500,250,logo.cols,logo.rows));
//方法二
imageROI=Image(Range(250,250+logoImage.rows),Range(200,200+logoImage.cols));

代码中定义了一个Mat类型,是一种类似指针的引用,然后指向Image(Mat)中制定区域,这样就创建了一个ROI区域,这个区域在Image中。

二、图像掩膜

图像掩膜,在ROI区域中导入一张图像,然后在image中进行加载

Mat Image1= imread("dota_pa.jpg");
//定义一个Mat类型并给其设定ROI区域 ,指向Image中坐标点200,250,长宽为cols和rows
Mat imageROI= Image1(Rect(200,250,logoImage.cols,logoImage.rows)); //加载掩模(必须是灰度图)
Mat mask= imread("dota_logo.jpg",0); //将掩膜拷贝到ROI
logoImage.copyTo(imageROI,mask);

三、线性混合

线性混合就是,对两幅图像(f0(x)和f1(x))或两段视频(同样为(f0(x)和f1(x))产生时间上的画面叠化(cross-dissolve)效果,就像幻灯片放映和电影制作中的那样。函数表示为:

opencv学习笔记-图像叠加、混合

1、opencv函数-addWeighted函数

void addWeighted(InputArray src1, double alpha, InputArray src2, double beta, double gamma, OutputArray dst, int dtype=-1);
//第一个参数,InputArray类型的src1,表示需要加权的第一个数组,常常填一个Mat。
//第二个参数,alpha,表示第一个数组的权重
//第三个参数,src2,表示第二个数组,它需要和第一个数组拥有相同的尺寸和通道数。
//第四个参数,beta,表示第二个数组的权重值。
//第五个参数,dst,输出的数组,它和输入的两个数组拥有相同的尺寸和通道数。
//第六个参数,gamma,一个加到权重总和上的标量值。看下面的式子自然会理解。
//第七个参数,dtype,输出阵列的可选深度,有默认值-1。;当两个输入数组具有相同的深度时,个参数设置为-1(默认值),即等同于src1.depth()。dst = src1

addWeighted函数计算如下两个数组(src1和src2)的加权和,得到结果输出给第四个参数。即addWeighted函数的作用可以被表示为为如下的矩阵表达式为: dst = src1[I]*alpha+ src2[I]*beta + gamma;

2、实例代码

//【1】读取图像
Mat srcImage4= imread("dota_pa.jpg",1);
Mat logoImage= imread("dota_logo.jpg"); if(!srcImage4.data ) { printf("你妹,读取srcImage4错误~! \n"); return false; }
if(!logoImage.data ) { printf("你妹,读取logoImage错误~! \n"); return false; } //【2】定义一个Mat类型并给其设定ROI区域
Mat imageROI;
//方法一
imageROI=srcImage4(Rect(200,250,logoImage.cols,logoImage.rows)); //【3】将logo加到原图上 ,利用线性混合构建掩膜,其中logo权重是0.3,原图中的ROI区域图像是0.5
addWeighted(imageROI,0.5,logoImage,0.3,0.,imageROI); //【4】显示结果
namedWindow("<4>区域线性图像混合示例窗口 by浅墨");
imshow("<4>区域线性图像混合示例窗口 by浅墨",srcImage4); return true;

四、多通道颜色混合

彩色图像是三通道图像,当然灰度图像是单通道图像,在图像应用中需要对某一通道混合,或者几个通道颜色混合,这就是多通道颜色混合。在多通道颜色混合应用中在opencv需要split函数和merge函数。

1、分离颜色通道

C++: void split(const Mat& src, Mat*mvbegin);

C++: void split(InputArray m,OutputArrayOfArrays mv);
//第一个参数,InputArray类型的m或者const Mat&类型的src,填我们需要进行分离的多通道数组。
//第二个参数,OutputArrayOfArrays类型的mv,填函数的输出数组或者输出的vector容器

split函数分割多通道数组转换成独立的单通道数组,按公式来讲:opencv学习笔记-图像叠加、混合

class CV_EXPORTS _OutputArray : public_InputArray
{
public:
_OutputArray(); _OutputArray(Mat& m);
template<typename _Tp> _OutputArray(vector<_Tp>& vec);
template<typename _Tp> _OutputArray(vector<vector<_Tp>>& vec);
_OutputArray(vector<Mat>& vec);
template<typename _Tp> _OutputArray(vector<Mat_<_Tp>>& vec);
template<typename _Tp> _OutputArray(Mat_<_Tp>& m);
template<typename _Tp, int m, int n> _OutputArray(Matx<_Tp, m,n>& matx);
template<typename _Tp> _OutputArray(_Tp* vec, int n);
_OutputArray(gpu::GpuMat& d_mat);
_OutputArray(ogl::Buffer& buf);
_OutputArray(ogl::Texture2D& tex); _OutputArray(constMat& m);
template<typename _Tp> _OutputArray(const vector<_Tp>&vec);
template<typename _Tp> _OutputArray(constvector<vector<_Tp> >& vec);
_OutputArray(const vector<Mat>& vec);
template<typename _Tp> _OutputArray(const vector<Mat_<_Tp>>& vec);
template<typename _Tp> _OutputArray(const Mat_<_Tp>& m);
template<typename _Tp, int m, int n> _OutputArray(constMatx<_Tp, m, n>& matx);
template<typename _Tp> _OutputArray(const _Tp* vec, int n);
_OutputArray(const gpu::GpuMat& d_mat);
_OutputArray(const ogl::Buffer& buf);
_OutputArray(const ogl::Texture2D& tex); virtual bool fixedSize() const;
virtual bool fixedType() const;
virtual bool needed() const;
virtual Mat& getMatRef(int i=-1) const;
/*virtual*/ gpu::GpuMat& getGpuMatRef() const;
/*virtual*/ ogl::Buffer& getOGlBufferRef() const;
/*virtual*/ ogl::Texture2D& getOGlTexture2DRef() const;
virtual void create(Size sz, int type, int i=-1, bool allowTransposed=false,int fixedDepthMask=0) const;
virtual void create(int rows, int cols, int type, int i=-1, boolallowTransposed=false, int fixedDepthMask=0) const;
virtual void create(int dims, const int* size, int type, int i=-1, boolallowTransposed=false, int fixedDepthMask=0) const;
virtual void release() const;
virtual void clear() const; #ifdefOPENCV_CAN_BREAK_BINARY_COMPATIBILITY
virtual ~_OutputArray();
#endif
};

上面函数讲解是OutputArray类原型,其中是模板类为主,注意类对象的创建。

split函数应用

vector<Mat> channels;
Mat imageBlueChannel;
Mat imageGreenChannel;
Mat imageRedChannel;
srcImage4= imread("dota.jpg");
// 把一个3通道图像转换成3个单通道图像
split(srcImage4,channels);//分离色彩通道
imageBlueChannel = channels.at(0);
imageGreenChannel = channels.at(1);
imageRedChannel = channels.at(2);

载入的3通道图像转换成3个单通道图像,放到vector<Mat>类型的channels中,接着进行引用赋值。

根据OpenCV的BGR色彩空间(bule,Green,Red,蓝绿红),其中channels.at(0)就表示引用取出channels中的蓝色分量,channels.at(1)就表示引用取出channels中的绿色色分量,channels.at(2)就表示引用取出channels中的红色分量。

2、图像混合

图像混合中通过组合一些给定的单通道数组,将这些孤立的单通道数组合并成一个多通道的数组,从而创建出一个由多个单通道阵列组成的多通道阵列。

merge()函数的功能是split()函数的逆向操作,将多个数组组合合并成一个多通道的数组。

C++: void merge(const Mat* mv, size_tcount, OutputArray dst)
C++: void merge(InputArrayOfArrays mv,OutputArray dst)
//第一个参数,mv,填需要被合并的输入矩阵或vector容器的阵列,这个mv参数中所有的矩阵必须有着一样的尺寸和深度。
//第二个参数,count,当mv为一个空白的C数组时,代表输入矩阵的个数,这个参数显然必须大于1.
//第三个参数,dst,即输出矩阵,和mv[0]拥有一样的尺寸和深度,并且通道的数量是矩阵阵列中的通道的总数。

五、图像混合综合代码及解析

//-----------------------------------【程序说明】----------------------------------------------
// 程序名称::【OpenCV入门教程之四】分离颜色通道&多通道图像混合 配套源码
// VS2010版 OpenCV版本:2.4.8
// 2014年3月13 日 Create by 浅墨
// 图片素材出处:dota2原画 dota2logo
// 配套博文链接:http://blog.csdn.net/poem_qianmo/article/details/20537737
// 浅墨的微博:@浅墨_毛星云
//------------------------------------------------------------------------------------------------ //-----------------------------------【头文件包含部分】---------------------------------------
// 描述:包含程序所依赖的头文件
//---------------------------------------------------------------------------------------------- #include <cv.hpp>
#include <highgui.hpp>
#include <iostream> //-----------------------------------【命名空间声明部分】---------------------------------------
// 描述:包含程序所使用的命名空间
//-----------------------------------------------------------------------------------------------
using namespace cv;
using namespace std; //-----------------------------------【全局函数声明部分】--------------------------------------
// 描述:全局函数声明
//-----------------------------------------------------------------------------------------------
bool MultiChannelBlending(); //-----------------------------------【main( )函数】--------------------------------------------
// 描述:控制台应用程序的入口函数,我们的程序从这里开始
//-----------------------------------------------------------------------------------------------
int main( )
{
system("color 5E"); if(MultiChannelBlending( ))
{
cout<<endl<<"嗯。好了,得出了你需要的混合值图像~";
} waitKey(0);
return 0;
} //-----------------------------【MultiChannelBlending( )函数】--------------------------------
// 描述:多通道混合的实现函数
//-----------------------------------------------------------------------------------------------
bool MultiChannelBlending()
{
//【0】定义相关变量
Mat srcImage,greSrcImage,redSrcImage;
Mat logoImage;
vector<Mat> channels;
Mat imageBlueChannel;
//【0】定义相关变量
Mat imageGreenChannel;
//【0】定义相关变量
Mat imageRedChannel,redTempImage,greTempImage,blueTempImage; //=================【蓝色通道部分】=================
// 描述:多通道混合-蓝色分量部分
//============================================ // 【1】读入图片
logoImage= imread("dota_logo.jpg",0);
srcImage= imread("dota_jugg.jpg"); if( !logoImage.data ) { printf("Oh,no,读取logoImage错误~! \n"); return false; }
if( !srcImage.data ) { printf("Oh,no,读取srcImage错误~! \n"); return false; }
srcImage.copyTo(greSrcImage);
srcImage.copyTo(redSrcImage);
//【2】把一个3通道图像转换成3个单通道图像
split(srcImage,channels);//分离色彩通道 //【3】将原图的蓝色通道引用返回给imageBlueChannel,注意是引用,相当于两者等价,修改其中一个另一个跟着变
imageBlueChannel= channels.at(0);
//这是引用,指向channels,后面调用clear,这样数据清空了
//imageGreenChannel = channels.at(1); ////展示单通道图像
//imshow("单通道蓝色图像",imageBlueChannel);
//imshow("单通道红色图像",imageRedChannel);
//imshow("单通道绿色图像",imageGreenChannel); //【4】将原图的蓝色通道的(500,250)坐标处右下方的一块区域和logo图进行加权操作,将得到的混合结果存到imageBlueChannel中
addWeighted(imageBlueChannel(Rect(500,250,logoImage.cols,logoImage.rows)),1.0,
logoImage,0.5,0,imageBlueChannel(Rect(500,250,logoImage.cols,logoImage.rows)));
imshow("加载log后的蓝色图像",imageBlueChannel); //【5】将三个单通道重新合并成一个三通道
merge(channels,srcImage); //【6】显示效果图 imshow(" 游戏原画+logo蓝色通道",srcImage); //=================【绿色通道部分】=================
// 描述:多通道混合-绿色分量部分
//============================================
// imshow("绿色图像原图像",greSrcImage);
//因为同道中蓝色通道已经加载logo进去,所以此时logo会有变化的,重新分离通道
channels.clear();
split(greSrcImage,channels);
imageGreenChannel = channels.at(1);
//【4】将原图的绿色通道的(500,250)坐标处右下方的一块区域和logo图进行加权操作,将得到的混合结果存到imageGreenChannel中
addWeighted(imageGreenChannel(Rect(500,250,logoImage.cols,logoImage.rows)),1.0,
logoImage,0.5,0.,imageGreenChannel(Rect(500,250,logoImage.cols,logoImage.rows))); //【5】将三个独立的单通道重新合并成一个三通道,如果继续这样,因为同道中蓝色通道已经加载logo进去,所以此时logo会有变化的
merge(channels,greSrcImage); //【6】显示效果图
imshow("<2>游戏原画+logo绿色通道",greSrcImage); //=================【红色通道部分】=================
// 描述:多通道混合-红色分量部分
//============================================
channels.clear();
split(redSrcImage,channels);
imageRedChannel = channels.at(2);
//【4】将原图的红色通道的(500,250)坐标处右下方的一块区域和logo图进行加权操作,将得到的混合结果存到imageRedChannel中
addWeighted(imageRedChannel(Rect(500,250,logoImage.cols,logoImage.rows)),1.0,
logoImage,0.5,0.,imageRedChannel(Rect(500,250,logoImage.cols,logoImage.rows))); //【5】将三个独立的单通道重新合并成一个三通道
merge(channels,redSrcImage); //【6】显示效果图
imshow("<3>游戏原画+logo红色通道",redSrcImage); return true;
}

opencv学习笔记-图像叠加、混合opencv学习笔记-图像叠加、混合opencv学习笔记-图像叠加、混合opencv学习笔记-图像叠加、混合opencv学习笔记-图像叠加、混合opencv学习笔记-图像叠加、混合

opencv学习笔记-图像叠加、混合

六、结果分析

1、上述代码中有ROI,就是创建感兴趣区域,在代码中直接用addweight函数直接完成了,实现mask的创建,是在SrcImage中ROI通过加权,将想要的图像加载其中,实现mask的创建。

2、代码中对split和merge进行演示、讲解,split函数用于获取单通道图像,程序中对单通道图像进行展示,发现单通道图像都是灰度图像,只是各个单通道图像亮度不同,说明了在彩色图像中red各占的比例大小。同时对于进行mask处理后的图像进行展示,当然也是灰度图像。

3、程序中分别是在srcImage中获取到红绿蓝的logo进行处理,就是先将需要的通道获取到,将logo按照一定比例添加其中(通道图像权重要高一点,才能让在roi中夜色占据主动),然后再合并。

4、程序一定注意到mat类型的应用,在程序大部分操作时引用,要记得保留未修改的数据。