OpenCV(5)-图像掩码操作（卷积）-锐化
锐化概念
图像平滑过程是去除噪声的过程。图像的主要能量在低频部分，而噪声主要集中在高频部分。图像的边缘信息主要也在高频部分，在平滑处理后，将会丢不部分边缘信息。因此需要使用锐化技术来增强边缘。
平滑处理的本质是图像经过平均或积分运算，锐化进行逆运算（如微分）即可。微分运算是求信号变化频率，可以增强高频分量的作用。在对图像进行锐化处理前要确定图像有较高的信噪比，否则处理后的图像增加的噪声比信号多。
常用的微分运算有一阶微分和二阶微分。一阶微分
\[\frac{\partial f}{\partial x}=f(x+1)-f(x)
\]
二阶微分
\[\frac{\partial^2 f}{\partial x^2}=f(x+1)+f(x-1)-f(x)
\]
一阶微分特点：
1、平坦段为0
2、灰度阶梯和斜坡起始点为非0
3、斜坡面为非0
二阶微分特点：
1、平坦段为0
2、灰度阶梯和斜坡起始、终止处为非0
3、沿着常数斜率斜坡段为0
可以看出：
1、一阶微分能产生比较宽的边缘（沿斜坡很长一段为非0），而二阶微对细节更敏感（如细线、孤立点、斜坡起始点不为0）。
2、一阶微分都灰度阶跃反应强烈；二阶微分对灰度阶梯变换产生双相应（阶跃点两边都不为0）。
3、在大多数图像增强应用中，二阶微分效果好过一阶微分。
图像微分定义
图像数据是离散数据，用差分代替微分
x方向
\[\nabla_xf(x,y)=f(x+1,y)-f(x,y)
\]
y方向
\[\nabla_yf(x,y)=f(x,y+1)-f(x,y)
\]
其模和方向
\[|\nabla_{x,y}f(x,y)|=(\nabla_xf(x,y)^2+\nabla_yf(x,y)^2)^\frac{1}{2}
\]
\[\alpha = arctan\frac{\nabla_xf(x,y)}{\nabla_yf(x,y)}
\]
同理，可以得到二阶微分（差分公式）
x方向
\[\nabla_x^2f(x,y)=f(x+1,y)+f(x-1,y)-f(x,y)
\]
y方向
\[\nabla_y^2f(x,y)=f(x,y+1)+f(x,y-1)-f(x,y)
\]
其模和方向
\[|\nabla_{x,y}^2f(x,y)|=(\nabla_x^2f(x,y)^2+\nabla_y^2f(x,y)^2)^\frac{1}{2}
\]
\[\alpha = arctan\frac{\nabla_x^2f(x,y)}{\nabla_y^2f(x,y)}
\]
单方向一阶微分锐化
单方向一阶微分锐化是指锐化某一方向的边缘。最简单的就是锐化水平方向和垂直方向。
锐化水平方向
\[ \left[
\begin{matrix}
1 & 1 & 1 \\
0& 0 & 0 \\
-1 & -1 & -1
\end{matrix}
\right] \tag{3}
\]
锐化垂直方向
\[ \left[
\begin{matrix}
1 &0 & -1 \\
1& 0 & -1 \\
1 & 0 & -1
\end{matrix}
\right] \tag{3}
\]
锐化后可能出现像素值为负，这处理方法有：
(1):所有像素值统一加上一个值。这样处理效果类似浮雕。
(2):所有像素取绝对值，这样可以有效提取边缘。
实验：
#include <iostream>
#include <opencv2/opencv.hpp>
using namespace std;
using namespace cv;
int main(int argc, char* argv[]){
const char* path = "";
Mat img = imread(path);
if (img.empty())
{
cout << "error";
return -1;
}
imshow("原图像", img);
//水平方向边缘提取
Mat h_kern = (Mat_<float>(3, 3) << 1, 1, 1,
0, 0, 0,
-1, -1, -1);
Mat h_mat;
filter2D(img, h_mat, img.depth(), h_kern);
imshow("水平方向边缘提取", h_mat);
Mat v_kern = (Mat_<float>(3, 3) << 1, 0, -1,
1, 0, -1,
1, 0, -1);
Mat v_mat;
filter2D(img, v_mat, img.depth(), v_kern);
imshow("线性非均值滤波2", v_mat);
waitKey();
return 0;
}
无方向一阶微分锐化
对于有规则的物体，单方向锐化有比较好的效果，但是对于不规则物体，常常需要无方向一节锐化。
交叉微分（Roberts算法）
\[g(x,y)=|f(x+1,y+1)-f(x,y)|+|f(x+1,y)-f(x,y+1)|
\]
\[\nabla_xf(x,y)=\left[
\begin{matrix}
-1 & 0 \\
0 & 1
\end{matrix}
\right] \tag{3}
\]
\[\nabla_yf(x,y)=\left[
\begin{matrix}
0 & 1 \\
-1 & 0
\end{matrix}
\right] \tag{3}
\]
Sobel锐化
\[g(x,y)=\{|\nabla_xf(x,y)|^2+|\nabla_yf(x,y)|^2\}^\frac{1}{2}
\]
\[\nabla_xf(x,y)=\left[
\begin{matrix}
-1 & -2 & -1 \\
0 & 0 & 0\\
1& 2 & 1
\end{matrix}
\right] \tag{3}
\]
\[\nabla_yf(x,y)=\left[
\begin{matrix}
-1 & 0 & 1 \\
-2 & 0 & 2\\
-1& 0 & 1
\end{matrix}
\right] \tag{3}
\]
OpenCV函数
void Sobel(InputArray src, OutputArray dst, int ddepth, int dx, int dy, int ksize=3, double scale=1, double delta=0, int borderType=BORDER_DEFAULT )
Priwitt锐化
\[g(x,y)=\{|\nabla_xf(x,y)|^2+|\nabla_yf(x,y)|^2\}^\frac{1}{2}
\]
\[\nabla_xf(x,y)=\left[
\begin{matrix}
-1 & -1 & -1 \\
0 & 0 & 0\\
1& 1 & 1
\end{matrix}
\right] \tag{3}
\]
\[\nabla_yf(x,y)=\left[
\begin{matrix}
-1 & 0 & 1 \\
-1 & 0 & 1\\
-1& 0 & 1
\end{matrix}
\right] \tag{3}
\]
实验
#include <iostream>
#include <opencv2/opencv.hpp>
using namespace std;
using namespace cv;
int main(int argc, char* argv[]){
const char* path = "";
Mat img = imread(path);
if (img.empty())
{
cout << "error";
return -1;
}
imshow("原图像", img);
/****************************Roberts**************************/
Mat Roberts_kern_x = (Mat_<float>(2, 2) << -1, 0,
0, 1);
Mat Roberts_kern_y = (Mat_<float>(2, 2) << 0, 1,
- 1, 0);
Mat Roberts_Mat_x, Roberts_Mat_y, Roberts_Mat;
filter2D(img, Roberts_Mat_x, img.depth(), Roberts_kern_x);
filter2D(img, Roberts_Mat_y, img.depth(), Roberts_kern_y);
Mat Roberts_abs_x, Roberts_abs_y;
convertScaleAbs(Roberts_Mat_x, Roberts_abs_x);
convertScaleAbs(Roberts_Mat_y, Roberts_abs_y);
addWeighted(Roberts_abs_x, 0.5, Roberts_abs_y, 0.5, 0, Roberts_Mat);
imshow("Roberts", Roberts_Mat);
/****************************Roberts**************************/
/****************************Sobel**************************/
Mat Sobel_Mat_x, Sobel_Mat_y, Sobel_Mat;
Sobel(img, Sobel_Mat_x, img.depth(), 1, 0);
Sobel(img, Sobel_Mat_y, img.depth(), 0, 1);
convertScaleAbs(Sobel_Mat_x, Sobel_Mat_x);
convertScaleAbs(Sobel_Mat_y, Sobel_Mat_y);
addWeighted(Sobel_Mat_x, 0.5, Sobel_Mat_y, 0.5, 0, Sobel_Mat);
imshow("Sobel", Sobel_Mat);
/****************************Sobel**************************/
/****************************Priwitt**************************/
Mat Priwitt_kern_x = (Mat_<float>(3, 3) << -1, -1, -1, 0, 0, 0, 1, 1, 1);
Mat Priwitt_kern_y = (Mat_<float>(3, 3) << -1, 0, 1, -1, 0, 1, -1, 0, 1);
Mat Priwitt_Mat_x, Priwitt_Mat_y, Priwitt_Mat;
filter2D(img, Priwitt_Mat_x, img.depth(), Priwitt_kern_x);
filter2D(img, Priwitt_Mat_y, img.depth(), Priwitt_kern_y);
convertScaleAbs(Priwitt_Mat_x, Priwitt_Mat_x);
convertScaleAbs(Priwitt_Mat_y, Priwitt_Mat_y);
addWeighted(Priwitt_Mat_x, 0.5, Priwitt_Mat_y, 0.5, 0, Priwitt_Mat);
imshow("Peiwitt", Priwitt_Mat);
waitKey();
return 0;
}
结论：
Roberts算法的模板为2 * 2，提取边缘能力较弱。
Sobel算法与Priwitt算法的模板大小相同，属于同一类型，因此处理效果基本相同。
二阶微分锐化
有些灰度特性，一阶微分并不能有效提取，这时需要二阶微分
\[\frac{\partial^2 f_x(x,y)}{\partial x^2}=\partial f_x(x+1)-\partial f_x(x)=[f(x,y) - f(x-1,y)]-[f(x+1,y)-f(x,y)]
\]
\[\frac{\partial^2 f_y(x,y)}{\partial x^2}=\partial f_y(x+1)-\partial f_y(x)=[f(x,y) - f(x,y -1)]-[f(x,y + 1)-f(x,y)]
\]
\[\frac{\partial^2 f(x,y)}{\partial x^2}=4f(x,y) - f(x+1,y) - f(x-1,y)- f(x,y+1）-f(x,y-1)
\]
对应矩阵
\[H_1=\left[
\begin{matrix}
0 & -1 & 0 \\
-1 & 4 & -1\\
0& -1 &0
\end{matrix}
\right] \tag{3}
\]
上面矩阵即为Laplacian算子。Laplacian算子还有变形
Laplacian算子
\[H_2=\left[
\begin{matrix}
-1 & -1 & -1 \\
-1 & 8 & -1\\
-1& -1 & -1
\end{matrix}
\right] \tag{3}
\]
\[H_3=\left[
\begin{matrix}
1 & -2 & 1 \\
-2 & 4 & -2\\
1& -2 & 1
\end{matrix}
\right] \tag{3}
\]
\[H_4=\left[
\begin{matrix}
0 & -1 & 0 \\
-1 & 5 & -1\\
0& -1 & 0
\end{matrix}
\right] \tag{3}
\]
上面几个算子，\(H_1\)和\(H_2\)效果接近，\(H_3\)效果比较差，\(H_4\)相加后为1，接近原图。
Wallis算子
在处理时，加入对数处理过程。
\[g(x,y)=log[f(x,y)] -\frac{1}{4}[logf(x-1,y) + logf(x+1，y)+logf(x,y-1)+logf(x,y-1)]
\]
在前面的算法公式中注意以下几点：
1）为了防止对0取对数，计算时实际上是用log(f(i, j) + 1);
2）因为对数值很小log(256) = 5.45, 所以计算
时用46*log(f(i, j) + 1)。
（46 = 255 / log(256)）
高斯-拉普拉斯算子
Laplacian算子对噪声很敏感，所以在进行锐化之前，需要先对图像进行平滑，减小噪声影响。高斯拉普拉斯算子将平滑和锐化结合在一起，适应了上面的需求。
