2.二. 图像运算、坐标变化、灰度插值2023-06-02

3.三. 空间域灰度变换2023-06-05 4.四. 图像空间域平滑算法2023-06-05 5.五. 图像空间域锐化算法2023-06-06

二. 图像运算、坐标变化、灰度插值

2.1 图像运算

输入两个图像A(x,y)、B(x,y)，输出图像C(x,y)

2.1.1 加法运算

定义：

C (x, y) = A (x, y) + B (x, y)

$C(x,y)=A(x,y)+B(x,y)$

主要用途：

去除叠加性噪声：

如果某一图像被一加性随机噪声污染，那可以通过对多个该情境下的图像求平均值来降噪。
生成图像叠加效果。

$C(x,y)=\frac{1}{2}\alpha(x,y)+\frac{1}{2}\beta(x,y) \\ 其中：(\alpha+\beta=1)$

2.1.2 减法运算

定义：

C (x, y) = A (x, y) + B (x, y)

$C(x,y)=A(x,y)+B(x,y)$

主要用途：

显示两幅图像之间的变化；检测同一场景下两幅图像之间的变化。如：视频中运动目标检测、图像差异检测。

图像差异检测（运动目标检测）。
去除不需要的叠加性图案。

2.1.3 乘法运算

定义：

C (x, y) = A (x, y) \times B (x, y)

$C(x,y)=A(x,y)\times B(x,y)$

主要用途：

图像的局部显示。

EG：用二值模板图像与原图像做乘法运算。

2.2 坐标变化

主要介绍了图像的平移、缩放、旋转，以及计算机坐标系和常用坐标系之间的变换。

思路：通过变换矩阵，对图像进行变换：

[\begin{matrix} x^{'} \\ y^{'} \\ 1 \end{matrix}] = [\begin{matrix} t_{11} & t_{12} & t_{13} \\ t_{21} & t_{22} & t_{23} \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} x \\ y \\ 1 \end{matrix}]

$\begin{bmatrix} x' \\ y' \\ 1 \end{bmatrix} = \begin{bmatrix} t_{11} & t_{12} & t_{13} \\ t_{21} & t_{22} & t_{23} \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} x \\ y \\ 1 \end{bmatrix}$

那么：

x^{'} = t_{11} x + t_{12} y + t_{13} y^{'} = t_{21} x + t_{22} y + t_{23} 1 = 0 + 0 + 1

$x'=t_{11}x+t_{12}y+t_{13} \\ y'=t_{21}x+t_{22}y+t_{23} \\ 1 = 0 + 0 + 1$

由此，可以衍生出：尺度、旋转、平移等变换。

2.2.1 平移

变换矩阵如下：

[\begin{matrix} 1 & 0 & t_{x} \\ 0 & 1 & t_{y} \\ 0 & 0 & 1 \end{matrix}]

$\begin{bmatrix} 1 & 0 & t_{x} \\ 0 & 1 & t_{y} \\ 0 & 0 & 1 \end{bmatrix}$

那么变换后的坐标：

{\begin{cases} x^{'} = x + t_{x} \\ y^{'} = y + t_{y} \end{cases}

$\begin{cases} x' = x+t_x \\ y'=y+t_y \end{cases}$

注意：变换后画布扩大的，否则会失去信息。

2.2.2 图像的尺度变换

变换矩阵如下：

[\begin{matrix} t_{x} & 0 & 0 \\ 0 & t_{y} & 0 \\ 0 & 0 & 1 \end{matrix}]

$\begin{bmatrix} t_x & 0 & 0 \\ 0 & t_y & 0 \\ 0 & 0 & 1 \end{bmatrix}$

变换后的坐标：

{\begin{cases} x^{'} = t_{x} x \\ y^{'} = t_{y} y \end{cases}

$\begin{cases} x' = t_xx \\ y' = t_yy \end{cases}$

注意：由于采样间隔并没有改变，也就是说像素点的大小没有变化，那么所谓缩放其实就是像素点数量的变化，因此我们需要对多出来的像素点的灰度级进行计算，这就涉及到了插值算法，下面会讲。

2.2.3 图像的旋转变化

变换矩阵如下：

[\begin{matrix} \cos θ & - \sin θ & 0 \\ \sin θ & \cos θ & 0 \\ 0 & 0 & 1 \end{matrix}]

$\begin{bmatrix} \cos{\theta} & -\sin{\theta} & 0 \\ \sin{\theta} & \cos{\theta} & 0 \\ 0 & 0 & 1 \end{bmatrix}$

变换后的坐标如下：

{\begin{cases} x^{'} = x \cos θ - y \sin θ \\ y^{'} = x \sin θ + y \cos θ \end{cases}

$\begin{cases} x' = x\cos{\theta}-y\sin{\theta} \\ y' = x\sin{\theta}+y\cos{\theta} \end{cases}$

公式推导：

如果原坐标 $x=P\cos{\alpha}，y=P\sin{\alpha}$ ，假设逆时针旋转 $\alpha$ 角度，那么变化后的坐标为

\begin{aligned} x^{'} & = P \cos (α + θ) \\ = P \cos α \cos θ - P \sin α \sin θ \\ = x \cos θ - y \sin θ \\ y^{'} & = P \sin (α + θ) \\ = P \sin α \cos θ + P \cos α \sin θ \\ = x \sin θ + y \cos θ \end{aligned}

$\begin{align*} x'&=P\cos{(\alpha+\theta)} \\ &=P\cos{\alpha}\cos{\theta}-P\sin{\alpha}\sin{\theta} \\ &=x\cos{\theta}-y\sin{\theta} \\ y'&=P\sin{(\alpha+\theta)} \\ &=P\sin{\alpha}\cos{\theta}+P\cos{\alpha}\sin{\theta} \\ &=x\sin{\theta}+y\cos{\theta} \end{align*}$

注意：

图像旋转后，会出现许多空白点（像素），对于这些空白点，必须赋予灰度值，否则图片效果会很差，这里同样用到插值算法。
这里的旋转适用的坐标轴是以左下角为矩阵，向右为x，向上为y的坐标轴，与openCV中矩阵坐标轴不一致，因此需要坐标轴变换。此外，还需要考虑旋转后图像的大小是否发生变化。映射的流程在空间坐标映射中体现：

2.2.4 空间坐标映射

根据顺序，存在两种映射方式：

前向映射：根据 $(x,y)$ 推导出 $(x',y')$ 。
- 缺点：可能多个点映射为一个点，也可能存在一些位置没有点映射过来。
后向映射，由坐标值 $(x',y')$ 经过反向变换 $T^{-1}$ 得到原先对应的坐标 $(x,y)$ ，随后采用插值算法确定 $g(x',y')$ （即 $(x',y')的灰度值$ ）。

二维图像的旋转映射

前向映射：

现在有图像Image，shape为(height,weight)，其中有一点像素为P(m,n)，我们将图像逆时针旋转 $\theta$ 度，得到Image'，shape为(height'，weight')，求新的像素位置。

步骤如下：

我们先为坐标系命名：
- M为矩阵坐标系，左上角为坐标原点，向下为x的正方向，向右为y的正方向。M为计算机下图像的坐标系。
- N为常用数学坐标系，左下为坐标原点，向右为x的正方向，向上为y轴的正方向。N下变换矩阵生效。
变换坐标系：因为题目中的坐标均为M坐标系下，而我们计算像素旋转都是在N坐标系下，因此需要对像素位置进行变换。转换公式为：

$若P_M(x,y)，则： \\ P_N(x',y')= \begin{cases} x'= y \\ y'= height-x-1 \end{cases}$
因此 $P_N=P_N(n,height-m-1)$ ，记作 $P_N(x,y)$
中心旋转：接下来就是选择相对于哪一点进行旋转，因为旋转前后图像的大小会发生变化，因此我们最好不要相对于边角进行旋转，一般选择中心进行旋转，中心坐标为 $O(\frac{weight-1}{2},\frac{height-1}{2})$ ，记作 $O(o_x,o_y)$ 。旋转的步骤如下：
1. 因为旋转公式是相对于原点的，因此将图片的中心移动到坐标原点，那么 $P_N(x,y)$ 的坐标变换为：
  
  $\begin{bmatrix} x' \\ y' \\ 1 \end{bmatrix} = \begin{bmatrix} 1 & 0 & -o_x \\ 0 & 1 & -o_y \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} x \\ y \\ 1 \end{bmatrix}$
  得到了 $P'(x',y')$
2. 开始旋转：
  
  $\begin{bmatrix} x'' \\ y'' \\ 1 \end{bmatrix} = \begin{bmatrix} \cos{\theta} & -\sin{\theta} & 0 \\ \sin{\theta} & \cos{\theta} & 0 \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} x' \\ y' \\ 1 \end{bmatrix}$
  得到旋转后的像素位置： $P_N''(x'',y'')$
3. 将图像的中心点移动回原来的位置：
  
  $\begin{bmatrix} x''' \\ y''' \\ 1 \end{bmatrix} = \begin{bmatrix} 1 & 0 & o_x' \\ 0 & 1 & o_y' \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} x'' \\ y'' \\ 1 \end{bmatrix}$
  注意：因为图像旋转后宽和高发生了变换，因此移动的尺度也发生了变化，现在是相对于旋转后的图像中心进行移动。
  
  得到旋转后的像素点： $P_N'''(x''',y''')$
将N坐标系变换回M坐标系，变换公式如下：

$若P_N(x,y),那么：\\ P_M(x',y')= \begin{cases} x'= height'-y-1\\ y'= x \end{cases}$
注意：因为变换后宽和高发生了变换，这里使用的是旋转后的宽和高。

得到结果 $P_M'(height'-y'''-1,x''')$

后向映射：就是将上述步骤反过来，注意旋转前后图像宽和高的变化。

EG1：

现在有图像矩阵如下：

图像大小为(4,5)，像素点P(2,1)，将图像旋转90°，求旋转后的像素点的坐标。

转化为一般直角坐标系：

$P_N(x,y) \begin{cases} x = 1\\ y = 4-2-1=1 \end{cases} \\ P_N(x,y)=P_N(1,1)$

相对于中心点旋转：

将中心点移动到原点：

$\begin{bmatrix} x' \\ y' \\ 1 \end{bmatrix} = \begin{bmatrix} 1 & 0 & -2 \\ 0 & 1 & -1.5 \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix} = \begin{bmatrix} -1 \\ -0.5 \\ 1 \end{bmatrix}$

将图像逆时针旋转90°：

$\begin{bmatrix} x'' \\ y'' \\ 1 \end{bmatrix} = \begin{bmatrix} 0 & -1 & 0 \\ 1 & 0 & 0 \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} -1 \\ -0.5 \\ 1 \end{bmatrix} = \begin{bmatrix} 0.5 \\ -1 \\ 1 \end{bmatrix}$

重新将图像移动回去：这里要注意，新的图像维度为(5,4)，因此移动的尺度为(1.5, 2):

$\begin{bmatrix} x''' \\ y''' \\ 1 \end{bmatrix} = \begin{bmatrix} 1 & 0 & 1.5 \\ 0 & 1 & 2 \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} 0.5 \\ -1 \\ 1 \end{bmatrix} = \begin{bmatrix} 2 \\ 1 \\ 1 \end{bmatrix}$

得到 $P_N'''(2,1)$

再将常用坐标系变换回矩阵坐标系：注意旋转后矩阵的大小发生了变化：

$P_M(x,y)= \begin{cases} x = height'''-y-1=3 \\ y = x'''=2 \end{cases}$
因此变换后的像素位置为(3,2)。

EG2：将上述过程逆向，得到逆向映射：

变换为常用坐标：

$P_N(x,y)=(2,5-1-3)=(2,1)$

顺时针旋转90°，也就是逆时针旋转270°：

中心移动到坐标原点：

$\begin{bmatrix} x' \\ y' \\ 1 \end{bmatrix} = \begin{bmatrix} 1 & 0 & -1.5 \\ 0 & 1 & -2 \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} 2 \\ 1 \\ 1 \end{bmatrix} = \begin{bmatrix} 0.5\\ -1 \\ 1 \end{bmatrix}$

逆时针旋转270°

$\begin{bmatrix} x'' \\ y'' \\ 1 \end{bmatrix} = \begin{bmatrix} 0 & 1 & 0 \\ -1 & 0 & 0 \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} 0.5 \\ -1 \\ 1 \end{bmatrix} = \begin{bmatrix} -1 \\ -0.5 \\ 1 \end{bmatrix}$

中心移动回去：注意矩阵的大小发生变化

$\begin{bmatrix} x''' \\ y''' \\ 1 \end{bmatrix} = \begin{bmatrix} 1 & 0 & 2 \\ 0 & 1 & 1.5 \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} -1 \\ -0.5 \\ 1 \end{bmatrix} = \begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix}$

再将坐标系由常用直角坐标系变换为矩阵坐标系：

$P_N(4-1-1, 1)=P(2,1)$

2.3 像素灰度插值

原因：

图像中的像素只有整数坐标，坐标值 $(x',y')$ 经过反向映射得到的原坐标值 $(x,y)$ 很可能并不是整数，那么我们如何确定 $g(x',y')$ 这里就需要泳道灰度插值算法。

常用的有三种办法：

最邻近插值算法：
- 原理：跟左上、左下、右上、右下四个像素点，哪个最近就用哪个的灰度值。
- 优点：简单，效果还行。
- 缺点：校正后图像会有明显的锯齿状，且灰度不连续。
双线性插值：
- 原理：就是对像素点在x、y的方向上分别进行一次单线性插值。具体如下：
  - 先在x维度上进行第一次单线性插值，得到 $R_1$ 的灰度值 $R_2$ ：
    
    $R_1 = \frac{x_2-x}{x_2-x_1}Q_{21}+\frac{x-x_1}{x_2-x_1}Q_{11} \\ R_2 = \frac{x_2-x}{x_2-x_1}Q_{22}+\frac{x-x_1}{x_2-x_1}Q_{12}$
  - 再在y维度上进行一次单线性插值，得到P的灰度值：
    
    $P=\frac{y_2-y}{y_2-y_1}R_1+\frac{y-y_1}{R_2-R_1}R_2$
    由此可得g(p)
- EG:
  
  假设 $P'(x',y')$ 经过反向映射得到的原坐标为 $P(x,y)$ 为(12.8, 15.3)，那么周边四个点分别为： $N_1(12,15),N_2(12,16),N_3(13,15),N_4(13,16)$ 那么：
  
  $R_1 = \frac{16-15.3}{16-15}N_1+\frac{15.3-15}{16-15}N_2=0.7N_1+0.3N_2 \\ R_2 = \frac{16-15.3}{16-15}N_3+\frac{15.3-15}{16-15}N_4=0.7N_3+0.3N_4 \\ \begin{align*} g(P)&=\frac{13-12.8}{13-12}R_1+\frac{12.8-12}{13-12}R_2 \\ &=0.2R_1+0.8R_2 \\ &=0.2*0.7*N_1+0.2*0.3N_2+0.8*0.7N_3+0.8*0.3N_4 \end{align*}$
  
  简单来说：根据四个点与像素点P的距离，为不同的像素分配不同的灰度，在双线性中成对角形式。
  
  假设像素点四个临近点依次为：左上、右上、左下、右下 $N_1,N_2,N_3,N_4$ ，对应坐标的绝对值差值依次为 $(\Delta{x_1},\Delta{y_1}),(\Delta{x_2},\Delta{y_2}),(\Delta{x_3},\Delta{y_3}),(\Delta{x_4},\Delta{y_4})$ ，那么：
  
  $g(P) = \Delta{x_4}*\Delta{y_4}*N_1 \\ \qquad +\Delta{x_3}*\Delta{y_3}*N_2 \\ \qquad +\Delta{x_2}*\Delta{y_2}*N_3 \\ \qquad +\Delta{x_1}*\Delta{y_1}*N_4$
三次内插法：略