读书笔记 － 《数字图像处理》（更新中...）

《数字图像处理》笔记-冈萨雷斯第三版

1.绪论

数字图像处理方法的重要性源于两个主要应用领域：（1）改善图示信息便于人理解；（2）为存储、传输和表示而进行图像数据处理，便于机器理解。

1.1什么是数字图像处理

一幅图像可定义为一个二维函数f(x, y)，其中，x和y是空间（平面）坐标，而在任何一对空间坐标(x, y)处的幅值称为图像在该点处的强度或灰度。当x，y和灰度值f是有限的离散数值时，我们称该图像为数字图像。而数字图像处理是指借助于数字计算机来处理数字图像。注意，数字图像是由有限的元素组成，这些元素术语叫做像素。

1.2数字图像处理的起源

虽然，数字图像早在20世纪就已经应用在报纸业，但由于在创建过程中并未涉及计算，故而不是本文定义的数字图像处理，真正的数字图像处理的历史与数字计算机的发展是密切相关的。

20世纪60年代初，由于大型计算机的出现，数字图像处理第一次被真正用在了空间项目的开发上。

 

20世纪70年代，“计算机轴向断层术”简称计算机断层（CT），是数字图像处理在医学诊断领域最重要的应用之一。之后，数字图像处理技术越来越广泛地应用到了天文学、生物学、核医学及国防工业等领域中。

1.3数字图像处理领域实例

阐述数字图像处理应用范围地一种最简单地方法是跟据信息源来分类（如可见光或X射线等）。以电磁波谱辐射为基础地图像是我们最熟悉地，特别是X射线和可见光谱频段的图像。

 

1.4数字图像处理的基本步骤

上图组织结构可看成本书其余部分内容的综述：

图像获取是第一步处理，该阶段包括图像预处理，比如图像缩放。

图像增强是对一幅图像进行某种操作，使其结果在特定应用中比原始图像更适合进行处理。“特定”一次的含义在于说明图像增强技术建立在面向问题的基础上，没有通用的理论方法。

图像复原也是改进图像外观的一个处理领域。与图像增强不同，它是客观的而图像增强是主观的。复原技术倾向于以图像退化的数学或概率模型为基础，而增强是以什么是好的增强效果这种主观偏爱为基础。

彩色图像处理是当前一个重要的领域。

小波是以不同分辨率来描述图像的基础。本书中，图像数据压缩和金字塔表示使用了小波，图像被成功地细分为较小地区域。

压缩指的是减少图像储存量或降低传输图像带宽的处理。大家都很熟悉图像压缩所用的图像文件扩展名，如JPG文件扩展名用于JPEG（联合图片专家组）图像压缩标准。

形态学处理涉及提取图像分量的工具，这些分量在表示和描述形状方面很有用。

分割过程将一幅图像划分为它的组成部分或目标。通常分割越准确，识别越成功。

识别是基于目标的描述给该目标赋予标志（譬如“车辆”）的过程。

1.5数字图像处理系统的组成

 

 

2.数字图像基础

2.3图像感知与获取

多数图像都是由“照射”源和形成图像的“场景”元素对光能的反射或吸收而产生的。

单个传感器获取图像

最熟悉的单个传感器部件是光二极管，它由硅材料构成，并且其输出电压波形与入射光成正比。为使用单一传感器产生二维图像，在传感器和成像区域之间必须有x和y方向的相对位移。

 

使用传感器阵列获取图像

数字摄像机的典型传感器是CCD阵列，它能封装为具有4000X4000个单元或更多单元的稳定阵列。这样的传感器阵列所用的主要方法如下图所示。该图显示来自照射源的能量是场景元素的反射（该能量也可以通过场景元素投射），成像系统执行的第一个功能是收集入射能量，并将它聚焦于一个图像平面上。与焦平面重合的传感器阵列产生与每个传感器接收到的光的总量成正比的输出。数字或模拟电路扫描这些输出，并把它们转换成模拟信号，然后由成像系统的其他部分数字化，输出是一幅数字图像。

 

2.3图像取样和量化

为了产生一幅数字图像，需要将连续的感知数据转换为数字形式，这种转换包括两种处理：取样和量化。

下图说明了取样和量化的基本概念。一幅连续图像f，其x和y坐标及幅度都是连续的，为了将它转换为数字形式，必须在坐标和幅度上进行取样操作。对坐标值进行数字化成为取样，对幅值数字化称为量化。（随机变化是由图像噪声引起的）

 

 

 

数字图像表示

通过取样和量化，将连续图像函数f(s, t)转换为二维阵列f(x, y)，其中x，y是离散坐标。由一幅图像的坐标张成的实平面部分称为空间域，x和y称为空间变量或空间坐标。

图(a)是一幅函数图，用两个坐标轴决定空间位置，第三个坐标决定f（灰度）值。 图(b)是更一般的表示，它显示了f(x, y)出现在监视器或照片上的情况，该图中仅有三个等间隔的灰度值（分别变换为黑色，灰色或白色）。 图(c)将f(x, y)的数值简单显示为一个阵列（矩阵），该例中，f的大小为600X600个元素，每个点的灰度值为0，0.5或1（被归一化到区间[0,1]内）。

 

 

出于存储和量化硬件的考虑，灰度级数典型地取为2的整数次幂，即，假设离散灰度级是等间隔的，且它们是区间[0, L-1]内的整数。有时，由灰度跨越的值域非正式地称为动态范围。对比度被定义为一幅图像中最高和最低灰度级间的灰度差。

图像内插

内插是在诸如放大、收缩、旋转和几何校正等任务中广泛应用的基本工具。从根本上来看，内插是用已知数据来估计未知位置的数值的处理。

几何空间变换和图像配准(image registration)

几何变换改进图像中像素间的空间关系。几何变换由两个基本操作组成：（1）坐标的空间变换；（2）灰度内插，即对空间变换后的像素赋予灰度值。

最常用的空间坐标变换之一是仿射变换，其一般形似如下：

 

该变换可根据矩阵T中元素所选择的值，对一组坐标点做尺度、旋转、平移或偏移。

 

图像配准用于对齐两幅或多福相同场景的图像。在图像配准中，由可用的输入图像和输出图像，但是，从输入图像产生输出图像的特定变换通常是不知道的，那么，问题就是估计变换函数，用它匹配两幅图像。

 

3.灰度变换与空间滤波

空间域处理主要分为灰度变换和空间滤波两类。灰度变换在图像的单个像素上操作，主要以对比度和阈值处理为目的。空间滤波涉及改善性能的操作，如通过图像中每一个像素的邻域处理来锐化图像。

3.3直方图处理

 

3.4空间滤波基础

滤波一词借用于频域处理（下章会介绍，“滤波”是指接受（通过）或拒绝一定的频率分量。例如，通过低频的滤波器称为低通滤波器，其最终效果是模糊（平滑）一幅图像）。可以用空间滤波器（也称为空间掩模、核、模板和窗口）直接作用于图像本身而完成类似的平滑。

空间滤波器由（1）一个邻域（典型为一个较小的矩形），（2）对该邻域包围的图像像素执行的预定义操作组成。滤波产生一个新像素，其坐标等于邻域中心的坐标，像素的值是滤波操作的结果。滤波器的中心访问输入图像中的每个像素，就生成了滤波后的图像。如果在图像像素上执行的是线性操作，则该滤波器称为线性空间滤波器，否则称为非线性空间滤波器。

 

 

4.频率域滤波

4.1背景和基本概念

这里不介绍傅里叶级数和变换简史，也不讨论复数的定义，极坐标下表示复数

（），欧拉公式，卷积等。

注意：这里插一个题外话，许多编程语言可通过反正切函数arctan来计算角度，一般自带的atan2函数精度高但比较耗时，如果追求时间性能，可考虑其他精度稍低而快速的函数。

4.2取样和取样函数的傅里叶变换

4.2.1取样

用计算机处理前，连续函数必须转换为离散值序列，用取样和量化完成。模拟取样的一种方法是用一个单位时间间隔的冲激串作为取样函数去乘以连续函数f(t)，即

 

 

 

 

4.2.2取样函数的傅里叶变换

令F(u)代表连续函数f(t)的傅里叶变换。由卷积定理可知，空间域两个函数的乘积的傅里叶变换是两个函数在频率域的卷积。那么，取样后的函数的傅里叶变换是

 

4.2.3取样定理

 

-------待更！---------------

5.图像复原与重建

图像增强是主观过程；图像复原是客观过程，拟建立退化模型恢复出原图像。

6.彩色图像处理

分为全彩色处理和伪彩色处理：第一类由全彩色传感器获取；第二类对灰度赋予颜色。

CT均为灰度，在此略过

7.小波和多分辨率处理

小波比传统的傅里叶变换改进在于：除了提供频率还能提供该频率发生的时间点。

多分辨率处理：综合使用多种技术，如子带编码、正交镜像滤波、金字塔图像处理等。

图像金字塔是一种以多分辨率来解释图像的有效但概念简单的结构。应用于图像分割，机器视觉和图像压缩。

金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似。我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。

8.图像压缩

图像压缩是一种减少描绘一幅图像所需数据量的技术

9.形态学图像处理

将数学形态学作为工具，从图像中提取表达和描绘区域形状的有用图像分量，如边界、骨架和凸壳等。

腐蚀

膨胀

孔洞填充

 

10.图像分割

之前的处理，输入输出都是图像；从分割开始，有了另一个方向——输入图像输出是某些属性。

灰度图像的分割，分为两类：（1）根据灰度的不连续性，进行边缘分割；（2）根据灰度相似性，把图像分割为几个相似的区域。

1）不连续性—点、线、面，可以用差分以及导数来表示

2）分布特性—阈值处理（全局阈值、局部阈值）

3）基于区域的分割

区域生长、区域分裂与聚合

形态学分水岭

11.表示和描述

对分割后的区域进行表示和描述，也从两种角度：（1）外部特征（如边界）；（2）内部特征（组成像素）。

表示：边界追踪、链码、最小周长多边形近似

边界描述：简单描绘子、形状数、傅里叶描绘子、统计矩

区域描绘子：简单描绘子、拓扑描绘子、纹理、不变矩

主分量描绘

关系描绘子

注：纹理分析是区域描绘中的一种方法。

12.目标识别

主要分为两大领域：决策理论方法（定量）和结构方法（定性）。

基于决策理论的识别：

（1）最小距离分类器

（2）相关匹配

（3）统计分类器，如高斯分类器

（4）神经网络

 

总结

这本书很经典，即使在深度学习火热的情况下，也没有逃离这经典的结构。依旧是完成了一种特征提取描述以及匹配分类的过程。

另外要强调的就是在CT癌症分析中，基本步骤也在本书能找到：获取ROI——区域内纹理信息统计——建立分类预测模型