Halcon一日一练：图像拼接技术

图像拼接技术就是针对同一场景的一系列图片，根据图片的特征，比如位置，重叠部分等，拼接成一张大幅的宽视角的图像。

图像拼接要求拼接后图像最大程度的与原图一致，失真尽可能的小，并且要尽量做到天衣无缝即没有明显的拼接线或其他拼接痕迹。

图像拼接不能损失原始图像信息

为达到以上目标，图像拼接要求具备以下条件：

1：图像应具有一定的特征性能，拼接正是通过这些特征来进行的。

2：图像需要具有重叠部分，一般情况下，这些重叠部分点图像的1/4以上较为合理。

3、图像的背景亮度差异不能太大，应该低于10个灰度值，否则难以拼接成功。

4、图像的方位差异不能太大，图像应该来源同一方位。

5、拼合边界过渡应平滑，以消除接拼痕迹

 

图像拼接前，根据图像情况，可以进行图像预处理，主要是对图像进行校正和噪声滤波

1、校正

根据图像失真原因，建立相应的校正模型，从失真的图像中提取所需要的信息。从图像失真的逆过程来恢复图像。这个过程也可以理解为设计一个滤波器，使用其能从失真图像中计算得到真实图像的估值，从而最大程度的恢复真实图像。

2、噪声滤波

  噪声在图像上分布主要有两种型式：

1、位置随机，幅值基本相同，一般称之为 椒盐噪声；

2、幅值随机，但基本上每个点都存在，从幅值的分布统计来看，主要有高斯型，瑞利型，又有如频谱均匀的噪声。

对于这些噪声，处理方法有如下几种：

1、均值滤波

      就是用均值替代原图像中的各个像素。具体方法是：对将处理的像素，选择一个模板，此模板为其邻近的若干像素组成，用模板中的像素的均值去替代原来的像素值 。

2、中值滤波

      中值滤波是一种非线性平滑技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值.
      中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。方法是用某种结构的二维滑动模板，将板内像素按照像素值的大小进行排序，生成单调上升（或下降）的为二维数据序列。二维中值滤波输出为g（x,y）=med{f(x-k,y-l),(k,l∈W)} ，其中，f(x,y)，g(x,y)分别为原始图像和处理后图像。W为二维模板，通常为3*3，5*5区域，也可以是不同的的形状，如线状，圆形，十字形，圆环形等。

 图像配比：

    包含以下几个要素

1、选定特征空间

      特征空间是由不参与匹配的图像特征构成。特征可以为图像的灰度特征，也可以是边界，轮廓，显著特征（如角点，线交叉点，高曲率点），统计特征（如矩不变量，中心），高层结构描述与句法描述等；这里其实是定义了配准的空间范围。

2、相似度

     评估待匹配特征之间的相似性，它通常定义为某种代价函数或者是距离函数。这里定义为需要选定的某种算法。

3、搜索空间

      待估计参数组成的空间就称为搜索空间，也就是说，搜索空间是指所有可能的变换组成的空间。这其实就定义了搜索算法的空间复杂度

4、搜索策略

     用合适的方法在搜索空间中找出平移，旋转等变换参数的最佳估计，使得相似度达到最大值，这其实也就是定义了搜索算法的时间复杂度。

 

拼接方法：

1、基于区域的配准方法

     采用拼接图像的灰度值检测，对待配准图你中一块区域与参考图像中的相机尺寸的区域使用最小二乘法或者其它数学方法计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似度，由此得到待拼接图像重叠区域的范围和位置，从而实现图像拼接。也可以通过FFT变换将图像由时域变换到频域，然后再进行配准。对位移量比较大的图像，可以先校正图像的旋转，然后建立两幅图像之间的映射关系，总而言之，这种方法有很多不足，已经不是主流了。

2、基于特征的配准方法

     基于特征的图像配准方法有很多形式及其改进方式，其总体特点是：不直接利用图像的像素，而是通过像素值导出图像内容最抽像的描述和符号特征，并用此特征为匹配模板，通过二维高斯模糊过滤，把几幅待配准图像的灰度局总最大值，边界边缘轮廓，边缘点，边缘线段，组织（纹理）结构，角、项点，拐点，交叉点，封闭曲线低级对应特征点及利用特征图像关系图等高级特征，构造方程组，通过数值计算得到变换数来进行图像对齐，进而确定两者的匹配位置，实现特征点，特征线等拼接，并且可以提高运算速度。