Python从0到1丨带你认识图像平滑的三种线性滤波
摘要：常用于消除噪声的图像平滑方法包括三种线性滤波（均值滤波、方框滤波、高斯滤波）和两种非线性滤波（中值滤波、双边滤波），本文将详细讲解三种线性滤波方法。
本文分享自华为云社区《[Python从零到壹] 五十五.图像增强及运算篇之图像平滑（均值滤波、方框滤波、高斯滤波）》，作者：eastmount。
常用于消除噪声的图像平滑方法包括三种线性滤波（均值滤波、方框滤波、高斯滤波）和两种非线性滤波（中值滤波、双边滤波），本文将详细讲解三种线性滤波方法。
一.图像平滑
图像平滑是一项简单且使用频率很高的图像处理方法，可以用来压制、弱化或消除图像中的细节、突变、边缘和噪声，最常见的是用来减少图像上的噪声[1]。何为图像噪声？噪声是妨碍人的感觉器官所接受信源信息理解的因素，是不可预测只能用概率统计方法认识的随机误差。从图1中，可以观察到噪声的特点：位置随机、大小不规则，将这种噪声称为随机噪声，这是一种常见的噪声类型。
图2是一个图像平滑的示例，图中左半部分是包含噪声的原始输入图像，右半部分是进行图像平滑后的图像。通过对比容易观察到，在平滑后的图像中，物体中的噪声得到了有效地抑制和消除，但花的边缘部分被进行了模糊，这种将图像中的冗余信息进行抑制，即花的噪声进行消除的过程被称为图像平滑[2]。
一幅图像不可避免地要受到各种噪声源的干扰，所以噪声滤除往往是图像处理中的第一步，滤波效果好坏将直接影响后续处理结果，噪声滤除在图像处理中占有相当重要的地位。噪声滤除算法多种多样，可以从设计方法上分为线性滤波算法和非线性滤波算法两大类。
（1）线性滤波
在图像处理中，对邻域中的像素的计算为线性运算时，如利用窗口函数进行平滑加权求和的运算，或者某种卷积运算，都可以称为线性滤波。在数字信号处理和数字图像处理的早期研究中，线性滤波器是噪声抑制处理的主要手段，如均值滤波、方框滤波、高斯滤波等。
线性滤波算法对高斯型噪声有较好的滤波效果，而当信号频谱与噪声频谱混叠时或者当信号中含有非叠加性噪声时（例如由系统非线性引起的噪声或存在非高斯噪声等），线性滤波器的处理结果就很难令人满意。
（2）非线性滤波
非线性滤波利用原始图像跟模版之间的一种逻辑关系得到结果，如中值滤波、双边滤波等。非线性滤波技术从某种程度上弥补了线性滤波方法的不足，由于它能够在滤除噪声的同时较好地保持图像信号的高频细节，从而得到广泛的应用。著名学者 Tukey [3]于1971年首次提出了一种非线性滤波器——中值滤波器，从此揭开了非线性滤波方法研究的序幕。非线性滤波技术发展到现在，基于中值滤波的改进算法层出不穷，在非线性滤波算法中占有重要的地位。另外很多新的非线性滤波算法也相继涌现，如基于数学形态学的滤波方法、基于模糊理论的滤波方法、基于神经网络的滤波方法等，它们为图像滤波技术提供新的思路[4-5]。
后文将详细介绍以下常用的一些滤波器，包括均值滤波、方框滤波、高斯吕波、中值滤波等，如表23-1所示。
图3为这五种滤波的效果对比，从滤波的结果可以看出各种滤波算法对图像的作用非常不同，有些变化非常大，有些甚至跟原图一样。在实际应用时，应根据噪声的特点、期望的图像和边缘特征等来选择合适的滤波器，这样才能发挥图像滤波的最大优点。
在图像产生、传输和复制过程中，常常会因为多方面原因而被噪声干扰或出现数据丢失，降低了图像的质量。这就需要对图像进行一定的增强处理以减小这些缺陷带来的影响[6]。
二.均值滤波
均值滤波是最简单的一种线性滤波算法，它是指在原始图像上对目标像素给一个模板，该模板包括了其周围的临近像素（以目标像素为中心的周围8个像素，构成一个滤波模板，即去掉目标像素本身），再用模板中的全体像素的平均值来代替原来的像素值。换句话说，均值滤波输出图像的每一个像素值是其周围M×M个像素值的加权平均值。
图4表示均值滤波处理的过程，中心红色点的像素值为蓝色背景区域像素值求和的均值。5×5的矩阵称之为模糊内核，针对原始图像内的像素点，均值滤波采用核对其像素逐个进行均值处理，并得到最终的效果图。
其中红色区域的像素值均值滤波处理过程为：
均值滤波算法比较简单，计算速度较快，对周期性的干扰噪声有很好的抑制作用，但是它不能很好地保护图像的细节，在图像去噪的同时，也破坏了图像的细节部分，从而使图像变得模糊。
Python调用OpenCV中的cv2.blur()函数实现均值滤波处理，其函数原型如下所示，输出的dst图像与输入图像src具有相同的大小和类型。
dst = blur(src, ksize[, dst[, anchor[, borderType]]])
- src表示输入图像，它可以有任意数量的通道，但深度应为CV_8U、CV_16U、CV_16S、CV_32F或CV_64F
- ksize表示模糊内核大小，以（宽度，高度）的形式呈现
- anchor表示锚点，即被平滑的那个点，其默认值Point（-1，-1）表示位于内核的中央，可省略
- borderType表示边框模式，用于推断图像外部像素的某种边界模式，默认值为BORDER_DEFAULT，可省略
常见的模糊内核包括（3，3）和（5，5），如公式（2）和（3）所示：
图像均值滤波的Python实现代码如下所示，需要注意的是，代码中使用的是3×3的模板，plt.rcParams是用于设置中文汉字正常显示。
# -*- coding: utf-8 -*- # By:Eastmount import cv2 import numpy as np import matplotlib.pyplot as plt #读取图片 img = cv2.imread('lena-zs.png') source = cv2.cvtColor(img,cv2.COLOR_BGR2RGB) #均值滤波 result = cv2.blur(source, (3,3)) #用来正常显示中文标签 plt.rcParams['font.sans-serif']=['SimHei'] #显示图形 titles = ['原始图像', '均值滤波'] images = [source, result] for i in range(2): plt.subplot(1,2,i+1), plt.imshow(images[i], 'gray') plt.title(titles[i]) plt.xticks([]),plt.yticks([]) plt.show()
“lena”图输出结果如图5所示，左边表示含有噪声的待处理原图，右边是均值滤波处理后的图像，图像中的椒盐噪声被去除了。
如果图像中的噪声仍然存在，可以增加模糊内核的大小，比如使用5×5、10×10，甚至20×20的模板。图6就是使用10×10的内核，但是处理后的图像会逐渐变得更模糊。
图像均值滤波是通过模糊内核对图像进行平滑处理，由于模糊内核中的每个权重值都相同，故称为均值。该方法在一定程度上消除了原始图像中的噪声，降低了原始图像的对比度，但也存在一定缺陷，它在降低噪声的同时使图像变得模糊，尤其是边缘和细节处，而且模糊内核越大，模糊程度越严重。
三.方框滤波
图像平滑利用卷积模板逐一处理图像中每个像素，这一过程可以形象地比作对原始图像的像素进行过滤整理，把邻域像素逐一处理的算法过程称为滤波器。常见的线性滤波器包括均值滤波和方框滤波。
方框滤波又称为盒式滤波，它利用卷积运算对图像邻域的像素值进行平均处理，从而实现消除图像中的噪声。方框滤波和和均值滤波的模糊内核基本一样，区别为是否需要进行均一化处理。
Python调用OpenCV中的cv2.boxFilter()函数实现方框滤波处理，其函数原型如下所示：
dst = boxFilter(src, depth, ksize[, dst[, anchor[, normalize[, borderType]]]])
- src表示输入图像
- dst表示输出图像，其大小和类型与输入图像相同
- depth表示输出图像深度，通常设置为“-1”，表示与原图深度一致
- ksize表示模糊内核大小，以（宽度，高度）的形式呈现
- normalize表示是否对目标图像进行归一化处理，默认值为true
- anchor表示锚点，即被平滑的那个点，其默认值Point（-1，-1）表示位于内核的中央，可省略
- borderType表示边框模式，用于推断图像外部像素的某种边界模式，默认值为BORDER_DEFAULT，可省略
常见的模糊内核ksize包括（3，3）和（5，5），如下所示：
参数normalize表示是否对目标图像进行归一化处理。
- （1）当normalize为true时，需要执行归一化处理，方框滤波就变成了均值滤波。其中，归一化就是把要处理的像素值都缩放到一个范围内，以便统一处理和直观量化。
- （2）当normalize为false时，表示非归一化的方框滤波，不进行均值化处理，实际上就是求周围各像素的和。但此时很容易发生溢出，多个像素值相加后的像素值大于255，溢出后的像素值均设置为255，即白色。
参数normalize的定义如公式（6）所示。
图像方框滤波的Python实现代码如下所示，代码中使用3×3的核，normalize=0表示不进行图像归一化处理。
# -*- coding: utf-8 -*- # By:Eastmount import cv2 import numpy as np import matplotlib.pyplot as plt #读取图片 img = cv2.imread('lena-zs.png') source = cv2.cvtColor(img,cv2.COLOR_BGR2RGB) #方框滤波 result = cv2.boxFilter(source, -1, (3,3), normalize=0) #用来正常显示中文标签 plt.rcParams['font.sans-serif']=['SimHei'] #显示图形 titles = ['原始图像', '方框滤波'] images = [source, result] for i in range(2): plt.subplot(1,2,i+1), plt.imshow(images[i], 'gray') plt.title(titles[i]) plt.xticks([]),plt.yticks([]) plt.show()
方框滤波非归一化处理的输出结果如图7所示，处理后的效果图中包含很多白色的像素点，这是因为图像像素求和结果发生溢出（超过255）。由此可见，进行非归一化的处理时，得到的图像包含白色过多，对源图像的毁坏太大。
如果设置2×2的模糊内核，其非归一化的方框滤波处理效果更好一些，如图23-8所示。核心代码为：
- cv2.boxFilter(source, -1, (2,2), normalize=0)
下面代码是使用3×3内核，进行归一化方框滤波处理的代码，其输出结果与3×3内核均值滤波完全相同。
# -*- coding: utf-8 -*- # By:Eastmount import cv2 import numpy as np import matplotlib.pyplot as plt #读取图片 img = cv2.imread('lena-zs.png') source = cv2.cvtColor(img,cv2.COLOR_BGR2RGB) #方框滤波 result = cv2.boxFilter(source, -1, (3,3), normalize=1) #用来正常显示中文标签 plt.rcParams['font.sans-serif']=['SimHei'] #显示图形 titles = ['原始图像', '方框滤波'] images = [source, result] for i in range(2): plt.subplot(1,2,i+1), plt.imshow(images[i], 'gray') plt.title(titles[i]) plt.xticks([]),plt.yticks([]) plt.show()
输出结果如图9所示：
四.高斯滤波
为了克服局部平均法造成图像模糊的弊端，又提出了一些保持边缘细节的局部平滑算法，图像高斯滤波（高斯平滑）就是这样一种算法。它是应用邻域平均思想对图像进行平滑的一种线性平滑滤波，对于抑制服从正态分布的噪声非常有效，适用于消除高斯噪声，被广泛应用于图像处理的减噪过程。
图像高斯滤波为图像不同位置的像素值赋予了不同的权重，距离越近的点权重越大，距离越远的点权重越小。它与方框滤波和均值滤波不同，它对邻域内的像素进行平均时，为不同位置的像素赋予不同的权值。通俗地讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值（权重不同）经过加权平均后得到。
下面是常用的3×3和5×5内核的高斯滤波模板。
高斯滤波引入了数学中的高斯函数（正态分布函数），一个二维高斯函数如下公式（9）所示，其中σ为标准差。高斯加权平均中，最重要是σ的选取，标准差代表数据离散程度，如果σ较小，则高斯分布中心区域将更加聚集，平滑效果更差；反之，如果σ较大，高斯分布中心区域将更离散，平滑效果更明显[10]。
高斯滤波的核心思想是对高斯函数进行离散化，以离散点上的高斯函数值为权值，对图像中的每个像素点做一定范围邻域内的加权平均，从而有效地消除高斯噪声。高斯滤波让临近中心的像素点具有更高的重要度，对周围像素计算加权平均值，如图10所示，其中心位置权重最高为0.4。
Python中OpenCV主要调用GaussianBlur()函数实现高斯平滑处理，函数原型如下所示：
dst = GaussianBlur(src, ksize, sigmaX[, dst[, sigmaY[, borderType]]])
- src表示待处理的输入图像
- dst表示输出图像，其大小和类型与输入图像相同
- ksize表示高斯滤波器模板大小，ksize.width和ksize.height可以不同，但它们都必须是正数和奇数，它们也可以是零，即（0, 0）
- sigmaX表示高斯核函数在X方向的高斯内核标准差
- sigmaY表示高斯核函数在Y方向的高斯内核标准差。如果sigmaY为零，则设置为等于sigmaX，如果两个sigma均为零，则分别从ksize.width和ksize.height计算得到
- borderType表示边框模式，用于推断图像外部像素的某种边界模式，默认值为BORDER_DEFAULT，可省略
下面代码是使用7×7核模板进行高斯滤波处理。
# -*- coding: utf-8 -*- # By:Eastmount import cv2 import numpy as np import matplotlib.pyplot as plt #读取图片 img = cv2.imread('lena-zs.png') source = cv2.cvtColor(img,cv2.COLOR_BGR2RGB) #高斯滤波 result = cv2.GaussianBlur(source, (7,7), 0) #用来正常显示中文标签 plt.rcParams['font.sans-serif']=['SimHei'] #显示图形 titles = ['原始图像', '高斯滤波'] images = [source, result] for i in range(2): plt.subplot(1,2,i+1), plt.imshow(images[i], 'gray') plt.title(titles[i]) plt.xticks([]),plt.yticks([]) plt.show()
输出结果如图11所示，左边为待处理图像，右边为高斯滤波处理后图像。
图12是使用15×15高斯核模板进行高斯滤波处理的效果图，由图可知，图像在去除噪声的同时也变得更加模糊。
总之，高斯滤波作为最有效的滤波器之一，它对于抑制服从正态分布的噪声非常有效。
五.总结
本文主要讲解了常用于消除噪声的图像平滑方法，常见方法包括三种线性滤波（均值滤波、方框滤波、高斯滤波）和两种非线性滤波（中值滤波、双边滤波）。这篇文章介绍了均值滤波、方框滤波和高斯滤波，通过原理和代码进行对比，分别讲述了各种滤波方法的优缺点，有效地消除了图像的噪声，并保留图像的边缘轮廓。
参考文献：
- [1]冈萨雷斯著，阮秋琦译. 数字图像处理（第3版）[M]. 北京：电子工业出版社，2013.
- [2]zhu_hongji. [OpenCV学习笔记] 之图像平滑（线性/非线性滤波器）[EB/OL]. (2018-08-11). https://blog.csdn.net/zhu_hongji/article/details/81479571.
- [3]陆瑶. 图像处理与matlab实例之图像平滑（一）[EB/OL]. (2017-07-23). https://www.cnblogs.com/luyaoblog/p/7160948.html.
- [4]阮秋琦. 数字图像处理学（第3版）[M]. 北京：电子工业出版社，2008.
- [5]石振刚. 基于模糊逻辑的图像处理算法研究[D]. 东北大学, 2009.
- [6]马光豪. 基于稀疏高频梯度和联合双边滤波的图像平滑算法研究[D].山东大学, 2018.
- [7]陈初侠. 图像滤波及边缘检测与增强技术研究[D].合肥工业大学, 2009.
- [8]毛星云，冷雪飞. OpenCV3编程入门[M]. 北京：电子工业出版社，2015.
- [9]Eastmount. [Python图像处理] 四.图像平滑之均值滤波、方框滤波、高斯滤波及中值滤波[EB/OL]. (2018-09-02). https://blog.csdn.net/Eastmount/article/details/82216380.
- [10]Eastmount. [数字图像处理] 七.MFC图像增强之图像普通平滑、高斯平滑、Laplacian、Sobel、Prewitt锐化详解[EB/OL]. (2015-06-08). https://blog.csdn.net/eastmount/article/ details/46378783.
