opencv学习笔记-图像叠加、混合
在图像处理中，目标区域定义为感兴趣区域ROI(region of Interest)，这是后期图像处理的基础，在获取ROI后，进行一些列的处理。ROI区域在Opencv中就是Rect，先构建Rect，然后给予ROI一些特点，形成了图像掩膜。
一、ROI创建
//定义一个Mat类型并给其设定ROI区域 Mat imageROI; //方法一 imageROI=image(Rect(500,250,logo.cols,logo.rows)); //方法二 imageROI=Image(Range(250,250+logoImage.rows),Range(200,200+logoImage.cols));
代码中定义了一个Mat类型，是一种类似指针的引用，然后指向Image（Mat）中制定区域，这样就创建了一个ROI区域，这个区域在Image中。
二、图像掩膜
图像掩膜，在ROI区域中导入一张图像，然后在image中进行加载
Mat Image1= imread("dota_pa.jpg"); //定义一个Mat类型并给其设定ROI区域 ，指向Image中坐标点200,250，长宽为cols和rows Mat imageROI= Image1(Rect(200,250,logoImage.cols,logoImage.rows)); //加载掩模（必须是灰度图） Mat mask= imread("dota_logo.jpg",0); //将掩膜拷贝到ROI logoImage.copyTo(imageROI,mask);
三、线性混合
线性混合就是，对两幅图像（f0（x）和f1（x））或两段视频（同样为（f0（x）和f1（x））产生时间上的画面叠化（cross-dissolve）效果，就像幻灯片放映和电影制作中的那样。函数表示为：
1、opencv函数-addWeighted函数
void addWeighted(InputArray src1, double alpha, InputArray src2, double beta, double gamma, OutputArray dst, int dtype=-1); //第一个参数，InputArray类型的src1，表示需要加权的第一个数组，常常填一个Mat。 //第二个参数，alpha，表示第一个数组的权重 //第三个参数，src2，表示第二个数组，它需要和第一个数组拥有相同的尺寸和通道数。 //第四个参数，beta，表示第二个数组的权重值。 //第五个参数，dst，输出的数组，它和输入的两个数组拥有相同的尺寸和通道数。 //第六个参数，gamma，一个加到权重总和上的标量值。看下面的式子自然会理解。 //第七个参数，dtype，输出阵列的可选深度，有默认值-1。;当两个输入数组具有相同的深度时，个参数设置为-1（默认值），即等同于src1.depth（）。dst = src1
addWeighted函数计算如下两个数组（src1和src2）的加权和，得到结果输出给第四个参数。即addWeighted函数的作用可以被表示为为如下的矩阵表达式为： dst = src1[I]*alpha+ src2[I]*beta + gamma;
2、实例代码
//【1】读取图像 Mat srcImage4= imread("dota_pa.jpg",1); Mat logoImage= imread("dota_logo.jpg"); if(!srcImage4.data ) { printf("你妹，读取srcImage4错误~！ \n"); return false; } if(!logoImage.data ) { printf("你妹，读取logoImage错误~！ \n"); return false; } //【2】定义一个Mat类型并给其设定ROI区域 Mat imageROI; //方法一 imageROI=srcImage4(Rect(200,250,logoImage.cols,logoImage.rows)); //【3】将logo加到原图上 ，利用线性混合构建掩膜，其中logo权重是0.3，原图中的ROI区域图像是0.5 addWeighted(imageROI,0.5,logoImage,0.3,0.,imageROI); //【4】显示结果 namedWindow("<4>区域线性图像混合示例窗口 by浅墨"); imshow("<4>区域线性图像混合示例窗口 by浅墨",srcImage4); return true;
四、多通道颜色混合
彩色图像是三通道图像，当然灰度图像是单通道图像，在图像应用中需要对某一通道混合，或者几个通道颜色混合，这就是多通道颜色混合。在多通道颜色混合应用中在opencv需要split函数和merge函数。
1、分离颜色通道
C++: void split(const Mat& src, Mat*mvbegin); C++: void split(InputArray m,OutputArrayOfArrays mv); //第一个参数，InputArray类型的m或者const Mat&类型的src，填我们需要进行分离的多通道数组。 //第二个参数，OutputArrayOfArrays类型的mv，填函数的输出数组或者输出的vector容器
split函数分割多通道数组转换成独立的单通道数组，按公式来讲：
class CV_EXPORTS _OutputArray : public_InputArray { public: _OutputArray(); _OutputArray(Mat& m); template<typename _Tp> _OutputArray(vector<_Tp>& vec); template<typename _Tp> _OutputArray(vector<vector<_Tp>>& vec); _OutputArray(vector<Mat>& vec); template<typename _Tp> _OutputArray(vector<Mat_<_Tp>>& vec); template<typename _Tp> _OutputArray(Mat_<_Tp>& m); template<typename _Tp, int m, int n> _OutputArray(Matx<_Tp, m,n>& matx); template<typename _Tp> _OutputArray(_Tp* vec, int n); _OutputArray(gpu::GpuMat& d_mat); _OutputArray(ogl::Buffer& buf); _OutputArray(ogl::Texture2D& tex); _OutputArray(constMat& m); template<typename _Tp> _OutputArray(const vector<_Tp>&vec); template<typename _Tp> _OutputArray(constvector<vector<_Tp> >& vec); _OutputArray(const vector<Mat>& vec); template<typename _Tp> _OutputArray(const vector<Mat_<_Tp>>& vec); template<typename _Tp> _OutputArray(const Mat_<_Tp>& m); template<typename _Tp, int m, int n> _OutputArray(constMatx<_Tp, m, n>& matx); template<typename _Tp> _OutputArray(const _Tp* vec, int n); _OutputArray(const gpu::GpuMat& d_mat); _OutputArray(const ogl::Buffer& buf); _OutputArray(const ogl::Texture2D& tex); virtual bool fixedSize() const; virtual bool fixedType() const; virtual bool needed() const; virtual Mat& getMatRef(int i=-1) const; /*virtual*/ gpu::GpuMat& getGpuMatRef() const; /*virtual*/ ogl::Buffer& getOGlBufferRef() const; /*virtual*/ ogl::Texture2D& getOGlTexture2DRef() const; virtual void create(Size sz, int type, int i=-1, bool allowTransposed=false,int fixedDepthMask=0) const; virtual void create(int rows, int cols, int type, int i=-1, boolallowTransposed=false, int fixedDepthMask=0) const; virtual void create(int dims, const int* size, int type, int i=-1, boolallowTransposed=false, int fixedDepthMask=0) const; virtual void release() const; virtual void clear() const; #ifdefOPENCV_CAN_BREAK_BINARY_COMPATIBILITY virtual ~_OutputArray(); #endif };
上面函数讲解是OutputArray类原型，其中是模板类为主，注意类对象的创建。
split函数应用
vector<Mat> channels; Mat imageBlueChannel; Mat imageGreenChannel; Mat imageRedChannel; srcImage4= imread("dota.jpg"); // 把一个3通道图像转换成3个单通道图像 split(srcImage4,channels);//分离色彩通道 imageBlueChannel = channels.at(0); imageGreenChannel = channels.at(1); imageRedChannel = channels.at(2);
载入的3通道图像转换成3个单通道图像，放到vector<Mat>类型的channels中，接着进行引用赋值。
根据OpenCV的BGR色彩空间（bule，Green，Red，蓝绿红），其中channels.at(0)就表示引用取出channels中的蓝色分量，channels.at(1)就表示引用取出channels中的绿色色分量，channels.at(2)就表示引用取出channels中的红色分量。
2、图像混合
图像混合中通过组合一些给定的单通道数组，将这些孤立的单通道数组合并成一个多通道的数组，从而创建出一个由多个单通道阵列组成的多通道阵列。
merge()函数的功能是split()函数的逆向操作，将多个数组组合合并成一个多通道的数组。
C++: void merge(const Mat* mv, size_tcount, OutputArray dst) C++: void merge(InputArrayOfArrays mv,OutputArray dst) //第一个参数，mv，填需要被合并的输入矩阵或vector容器的阵列，这个mv参数中所有的矩阵必须有着一样的尺寸和深度。 //第二个参数，count，当mv为一个空白的C数组时，代表输入矩阵的个数，这个参数显然必须大于1. //第三个参数，dst，即输出矩阵，和mv[0]拥有一样的尺寸和深度，并且通道的数量是矩阵阵列中的通道的总数。
五、图像混合综合代码及解析
//-----------------------------------【程序说明】---------------------------------------------- // 程序名称:：【OpenCV入门教程之四】分离颜色通道&多通道图像混合 配套源码 // VS2010版 OpenCV版本：2.4.8 // 2014年3月13 日 Create by 浅墨 // 图片素材出处：dota2原画 dota2logo // 配套博文链接：http://blog.csdn.net/poem_qianmo/article/details/20537737 // 浅墨的微博：@浅墨_毛星云 //------------------------------------------------------------------------------------------------ //-----------------------------------【头文件包含部分】--------------------------------------- // 描述：包含程序所依赖的头文件 //---------------------------------------------------------------------------------------------- #include <cv.hpp> #include <highgui.hpp> #include <iostream> //-----------------------------------【命名空间声明部分】--------------------------------------- // 描述：包含程序所使用的命名空间 //----------------------------------------------------------------------------------------------- using namespace cv; using namespace std; //-----------------------------------【全局函数声明部分】-------------------------------------- // 描述：全局函数声明 //----------------------------------------------------------------------------------------------- bool MultiChannelBlending(); //-----------------------------------【main( )函数】-------------------------------------------- // 描述：控制台应用程序的入口函数，我们的程序从这里开始 //----------------------------------------------------------------------------------------------- int main( ) { system("color 5E"); if(MultiChannelBlending( )) { cout<<endl<<"嗯。好了，得出了你需要的混合值图像~"; } waitKey(0); return 0; } //-----------------------------【MultiChannelBlending( )函数】-------------------------------- // 描述：多通道混合的实现函数 //----------------------------------------------------------------------------------------------- bool MultiChannelBlending() { //【0】定义相关变量 Mat srcImage,greSrcImage,redSrcImage; Mat logoImage; vector<Mat> channels; Mat imageBlueChannel; //【0】定义相关变量 Mat imageGreenChannel; //【0】定义相关变量 Mat imageRedChannel,redTempImage,greTempImage,blueTempImage; //=================【蓝色通道部分】================= // 描述：多通道混合-蓝色分量部分 //============================================ // 【1】读入图片 logoImage= imread("dota_logo.jpg",0); srcImage= imread("dota_jugg.jpg"); if( !logoImage.data ) { printf("Oh，no，读取logoImage错误~！ \n"); return false; } if( !srcImage.data ) { printf("Oh，no，读取srcImage错误~！ \n"); return false; } srcImage.copyTo(greSrcImage); srcImage.copyTo(redSrcImage); //【2】把一个3通道图像转换成3个单通道图像 split(srcImage,channels);//分离色彩通道 //【3】将原图的蓝色通道引用返回给imageBlueChannel，注意是引用，相当于两者等价，修改其中一个另一个跟着变 imageBlueChannel= channels.at(0); //这是引用，指向channels，后面调用clear，这样数据清空了 //imageGreenChannel = channels.at(1); ////展示单通道图像 //imshow("单通道蓝色图像",imageBlueChannel); //imshow("单通道红色图像",imageRedChannel); //imshow("单通道绿色图像",imageGreenChannel); //【4】将原图的蓝色通道的（500,250）坐标处右下方的一块区域和logo图进行加权操作，将得到的混合结果存到imageBlueChannel中 addWeighted(imageBlueChannel(Rect(500,250,logoImage.cols,logoImage.rows)),1.0, logoImage,0.5,0,imageBlueChannel(Rect(500,250,logoImage.cols,logoImage.rows))); imshow("加载log后的蓝色图像",imageBlueChannel); //【5】将三个单通道重新合并成一个三通道 merge(channels,srcImage); //【6】显示效果图 imshow(" 游戏原画+logo蓝色通道",srcImage); //=================【绿色通道部分】================= // 描述：多通道混合-绿色分量部分 //============================================ // imshow("绿色图像原图像",greSrcImage); //因为同道中蓝色通道已经加载logo进去，所以此时logo会有变化的，重新分离通道 channels.clear(); split(greSrcImage,channels); imageGreenChannel = channels.at(1); //【4】将原图的绿色通道的（500,250）坐标处右下方的一块区域和logo图进行加权操作，将得到的混合结果存到imageGreenChannel中 addWeighted(imageGreenChannel(Rect(500,250,logoImage.cols,logoImage.rows)),1.0, logoImage,0.5,0.,imageGreenChannel(Rect(500,250,logoImage.cols,logoImage.rows))); //【5】将三个独立的单通道重新合并成一个三通道,如果继续这样，因为同道中蓝色通道已经加载logo进去，所以此时logo会有变化的 merge(channels,greSrcImage); //【6】显示效果图 imshow("<2>游戏原画+logo绿色通道",greSrcImage); //=================【红色通道部分】================= // 描述：多通道混合-红色分量部分 //============================================ channels.clear(); split(redSrcImage,channels); imageRedChannel = channels.at(2); //【4】将原图的红色通道的（500,250）坐标处右下方的一块区域和logo图进行加权操作，将得到的混合结果存到imageRedChannel中 addWeighted(imageRedChannel(Rect(500,250,logoImage.cols,logoImage.rows)),1.0, logoImage,0.5,0.,imageRedChannel(Rect(500,250,logoImage.cols,logoImage.rows))); //【5】将三个独立的单通道重新合并成一个三通道 merge(channels,redSrcImage); //【6】显示效果图 imshow("<3>游戏原画+logo红色通道",redSrcImage); return true; }
六、结果分析
1、上述代码中有ROI，就是创建感兴趣区域，在代码中直接用addweight函数直接完成了，实现mask的创建，是在SrcImage中ROI通过加权，将想要的图像加载其中，实现mask的创建。
2、代码中对split和merge进行演示、讲解，split函数用于获取单通道图像，程序中对单通道图像进行展示，发现单通道图像都是灰度图像，只是各个单通道图像亮度不同，说明了在彩色图像中red各占的比例大小。同时对于进行mask处理后的图像进行展示，当然也是灰度图像。
3、程序中分别是在srcImage中获取到红绿蓝的logo进行处理，就是先将需要的通道获取到，将logo按照一定比例添加其中（通道图像权重要高一点，才能让在roi中夜色占据主动），然后再合并。
4、程序一定注意到mat类型的应用，在程序大部分操作时引用，要记得保留未修改的数据。
