Python从0到1丨详解图像锐化的Sobel、Laplacian算子
本文分享自华为云社区《[Python从零到壹] 五十八.图像增强及运算篇之图像锐化Sobel、Laplacian算子实现边缘检测》，作者： eastmount 。
一.Sobel算子
Sobel算子是一种用于边缘检测的离散微分算子，它结合了高斯平滑和微分求导。该算子用于计算图像明暗程度近似值，根据图像边缘旁边明暗程度把该区域内超过某个数的特定点记为边缘。Sobel算子在Prewitt算子的基础上增加了权重的概念，认为相邻点的距离远近对当前像素点的影响是不同的，距离越近的像素点对应当前像素的影响越大，从而实现图像锐化并突出边缘轮廓[1-4]。
Sobel算子的边缘定位更准确，常用于噪声较多、灰度渐变的图像。其算法模板如公式（1）所示，其中dx表示水平方向，dy表示垂直方向[3]。
其像素计算公式如下：
Sobel算子像素的最终计算公式如下：
Sobel算子根据像素点上下、左右邻点灰度加权差，在边缘处达到极值这一现象检测边缘。对噪声具有平滑作用，提供较为精确的边缘方向信息。因为Sobel算子结合了高斯平滑和微分求导（分化），因此结果会具有更多的抗噪性，当对精度要求不是很高时，Sobel算子是一种较为常用的边缘检测方法。
Python和OpenCV将Sobel算子封装在Sobel()函数中，其函数原型如下所示：
- dst = Sobel(src, ddepth, dx, dy[, dst[, ksize[, scale[, delta[, borderType]]]]])
– src表示输入图像
– dst表示输出的边缘图，其大小和通道数与输入图像相同
– ddepth表示目标图像所需的深度，针对不同的输入图像，输出目标图像有不同的深度
– dx表示x方向上的差分阶数，取值1或 0
– dy表示y方向上的差分阶数，取值1或0
– ksize表示Sobel算子的大小，其值必须是正数和奇数
– scale表示缩放导数的比例常数，默认情况下没有伸缩系数
– delta表示将结果存入目标图像之前，添加到结果中的可选增量值
– borderType表示边框模式，更多详细信息查阅BorderTypes
注意，在进行Sobel算子处理之后，还需要调用convertScaleAbs()函数计算绝对值，并将图像转换为8位图进行显示。其算法原型如下：
- dst = convertScaleAbs(src[, dst[, alpha[, beta]]])
– src表示原数组
– dst表示输出数组，深度为8位
– alpha表示比例因子
– beta表示原数组元素按比例缩放后添加的值
Sobel算子的实现代码如下所示。
# -*- coding: utf-8 -*- # By:Eastmount import cv2 import numpy as np import matplotlib.pyplot as plt #读取图像 img = cv2.imread('luo.png') lenna_img = cv2.cvtColor(img,cv2.COLOR_BGR2RGB) #灰度化处理图像 grayImage = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) #Sobel算子 x = cv2.Sobel(grayImage, cv2.CV_16S, 1, 0) #对x求一阶导 y = cv2.Sobel(grayImage, cv2.CV_16S, 0, 1) #对y求一阶导 absX = cv2.convertScaleAbs(x) absY = cv2.convertScaleAbs(y) Sobel = cv2.addWeighted(absX, 0.5, absY, 0.5, 0) #用来正常显示中文标签 plt.rcParams['font.sans-serif']=['SimHei'] #显示图形 titles = ['原始图像', 'Sobel算子'] images = [lenna_img, Sobel] for i in range(2): plt.subplot(1,2,i+1), plt.imshow(images[i], 'gray') plt.title(titles[i]) plt.xticks([]),plt.yticks([]) plt.show()
其运行结果如图1所示：
二.Laplacian算子
拉普拉斯（Laplacian）算子是n维欧几里德空间中的一个二阶微分算子，常用于图像增强领域和边缘提取。它通过灰度差分计算邻域内的像素，基本流程是：
- 判断图像中心像素灰度值与它周围其他像素的灰度值；
- 如果中心像素的灰度更高，则提升中心像素的灰度；
- 反之降低中心像素的灰度，从而实现图像锐化操作。
在算法实现过程中，Laplacian算子通过对邻域中心像素的四方向或八方向求梯度，再将梯度相加起来判断中心像素灰度与邻域内其他像素灰度的关系，最后通过梯度运算的结果对像素灰度进行调整[2]。
一个连续的二元函数f(x,y)，其拉普拉斯运算定义为：
Laplacian算子分为四邻域和八邻域，四邻域是对邻域中心像素的四方向求梯度，八邻域是对八方向求梯度。其中，四邻域模板如公式（5）所示：
其像素的计算公式可以简化为：
通过模板可以发现，当邻域内像素灰度相同时，模板的卷积运算结果为0；当中心像素灰度高于邻域内其他像素的平均灰度时，模板的卷积运算结果为正数；当中心像素的灰度低于邻域内其他像素的平均灰度时，模板的卷积为负数。对卷积运算的结果用适当的衰弱因子处理并加在原中心像素上，就可以实现图像的锐化处理。
Laplacian算子的八邻域模板如下：
其像素的计算公式可以简化为：
Python和OpenCV将Laplacian算子封装在Laplacian()函数中，其函数原型如下所示：
- dst = Laplacian(src, ddepth[, dst[, ksize[, scale[, delta[, borderType]]]]])
– src表示输入图像
– dst表示输出的边缘图，其大小和通道数与输入图像相同
– ddepth表示目标图像所需的深度
– ksize表示用于计算二阶导数的滤波器的孔径大小，其值必须是正数和奇数，且默认值为1，更多详细信息查阅getDerivKernels
– scale表示计算拉普拉斯算子值的可选比例因子。默认值为1，更多详细信息查阅getDerivKernels
– delta表示将结果存入目标图像之前，添加到结果中的可选增量值，默认值为0
– borderType表示边框模式，更多详细信息查阅BorderTypes
注意，Laplacian算子其实主要是利用Sobel算子的运算，通过加上Sobel算子运算出的图像x方向和y方向上的导数，得到输入图像的图像锐化结果。
同时，在进行Laplacian算子处理之后，还需要调用convertScaleAbs()函数计算绝对值，并将图像转换为8位图进行显示。其算法原型如下：
- dst = convertScaleAbs(src[, dst[, alpha[, beta]]])
– src表示原数组
– dst表示输出数组，深度为8位
– alpha表示比例因子
– beta表示原数组元素按比例缩放后添加的值
当ksize=1时，Laplacian()函数采用3×3的孔径（四邻域模板）进行变换处理。下面的代码是采用ksize=3的Laplacian算子进行图像锐化处理，其代码如下：
# -*- coding: utf-8 -*- # By:Eastmount import cv2 import numpy as np import matplotlib.pyplot as plt #读取图像 img = cv2.imread('luo.png') lenna_img = cv2.cvtColor(img,cv2.COLOR_BGR2RGB) #灰度化处理图像 grayImage = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) #拉普拉斯算法 dst = cv2.Laplacian(grayImage, cv2.CV_16S, ksize = 3) Laplacian = cv2.convertScaleAbs(dst) #用来正常显示中文标签 plt.rcParams['font.sans-serif']=['SimHei'] #显示图形 titles = ['原始图像', 'Laplacian算子'] images = [lenna_img, Laplacian] for i in range(2): plt.subplot(1,2,i+1), plt.imshow(images[i], 'gray') plt.title(titles[i]) plt.xticks([]),plt.yticks([]) plt.show()
其运行结果如图2所示：
边缘检测算法主要是基于图像强度的一阶和二阶导数，但导数通常对噪声很敏感，因此需要采用滤波器来过滤噪声，并调用图像增强或阈值化算法进行处理，最后再进行边缘检测。下面是采用高斯滤波去噪和阈值化处理之后，再进行边缘检测的过程，并对比了四种常见的边缘提取算法。
# -*- coding: utf-8 -*- # By:Eastmount import cv2 import numpy as np import matplotlib.pyplot as plt #读取图像 img = cv2.imread('luo.png') lenna_img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) #灰度化处理图像 grayImage = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) #高斯滤波 gaussianBlur = cv2.GaussianBlur(grayImage, (3,3), 0) #阈值处理 ret, binary = cv2.threshold(gaussianBlur, 127, 255, cv2.THRESH_BINARY) #Roberts算子 kernelx = np.array([[-1,0],[0,1]], dtype=int) kernely = np.array([[0,-1],[1,0]], dtype=int) x = cv2.filter2D(binary, cv2.CV_16S, kernelx) y = cv2.filter2D(binary, cv2.CV_16S, kernely) absX = cv2.convertScaleAbs(x) absY = cv2.convertScaleAbs(y) Roberts = cv2.addWeighted(absX, 0.5, absY, 0.5, 0) #Prewitt算子 kernelx = np.array([[1,1,1],[0,0,0],[-1,-1,-1]], dtype=int) kernely = np.array([[-1,0,1],[-1,0,1],[-1,0,1]], dtype=int) x = cv2.filter2D(binary, cv2.CV_16S, kernelx) y = cv2.filter2D(binary, cv2.CV_16S, kernely) absX = cv2.convertScaleAbs(x) absY = cv2.convertScaleAbs(y) Prewitt = cv2.addWeighted(absX,0.5,absY,0.5,0) #Sobel算子 x = cv2.Sobel(binary, cv2.CV_16S, 1, 0) y = cv2.Sobel(binary, cv2.CV_16S, 0, 1) absX = cv2.convertScaleAbs(x) absY = cv2.convertScaleAbs(y) Sobel = cv2.addWeighted(absX, 0.5, absY, 0.5, 0) #拉普拉斯算法 dst = cv2.Laplacian(binary, cv2.CV_16S, ksize = 3) Laplacian = cv2.convertScaleAbs(dst) #效果图 titles = ['Source Image', 'Binary Image', 'Roberts Image', 'Prewitt Image','Sobel Image', 'Laplacian Image'] images = [lenna_img, binary, Roberts, Prewitt, Sobel, Laplacian] for i in np.arange(6): plt.subplot(2,3,i+1),plt.imshow(images[i],'gray') plt.title(titles[i]) plt.xticks([]),plt.yticks([]) plt.show()
输出结果如图3所示。其中，Laplacian算子对噪声比较敏感，由于其算法可能会出现双像素边界，常用来判断边缘像素位于图像的明区或暗区，很少用于边缘检测；Robert算子对陡峭的低噪声图像效果较好，尤其是边缘正负45度较多的图像，但定位准确率较差；Prewitt算子对灰度渐变的图像边缘提取效果较好，而没有考虑相邻点的距离远近对当前像素点的影响；Sobel算子考虑了综合因素，对噪声较多的图像处理效果更好。
三.总结
本文主要介绍图像锐化和边缘检测知识，详细讲解了Sobel算子和Laplacian算子，并通过小珞珞图像进行边缘轮廓提取。图像锐化和边缘提取技术可以消除图像中的噪声，提取图像信息中用来表征图像的一些变量，为图像识别提供基础。
参考文献：
- [1] 冈萨雷斯著，阮秋琦译. 数字图像处理（第3版）[M]. 北京：电子工业出版社，2013.
- [2] 阮秋琦. 数字图像处理学（第3版）[M]. 北京：电子工业出版社，2008.
- [3] 杨秀璋，于小民，范郁锋，李娜. 基于苗族服饰的图像锐化和边缘提取技术研究[J]. 现代计算机，2018-10.
- [4] Eastmount. [Python图像处理] 四.图像平滑之均值滤波、方框滤波、高斯滤波及中值滤波[EB/OL]. (2018-09-02). https://blog.csdn.net/Eastmount/article/details/82216380.
- [5] Eastmount. [数字图像处理] 七.MFC图像增强之图像普通平滑、高斯平滑、Laplacian、Sobel、Prewitt锐化详解[EB/OL]. (2015-06-08). https://blog.csdn.net/eastmount/article/ details/46378783.
- [6] DSQiu. 图像锐化（增强）和边缘检测[EB/OL]. (2012-08-20). https://dsqiu.iteye.com/blog/1638589.https://blog.csdn.net/poem_qianmo/article/details/23184547.
- [7] C. Tomasi, R Manduchi. Bilateral Filtering for Gray and Color images[C]. Proceedings of the IEEE International Conference on Computer Vision, Bombay, India. 1998:839-846.
