不良照明条件下的夜晚图像增强方法研究

📎7-不良照明条件下的夜晚图像增强方法研究.pdf

图像存在的问题

夜间图像亮度低
对比度低
细节纹理不清晰
噪声高，分布复杂
存在色彩偏差

研究目的

提升图像亮度
抑制噪声放大
矫正色彩偏差

主要研究内容

第一部分

针对夜间图像亮度和可见度低的问题，提出优化Retinex模型的夜间图像增强方法

反转的夜晚图像和浓雾图像具有极其相似的亮度直方图分布

大气值设置为翻转夜间图像最亮值
设计保持边缘的多尺度滤波方法计算投射函数，用来简化大气散射光照模型

---》最终实现夜晚图像的实时增强，有效抑制增强结果出现细节丢失、亮度失真等过度增强现象。

第二部分

抑制图像提升带来的噪声放大，提出基于多层图像分解的夜间图像增强方法

结构层
纹理层
噪声层

---》能够有效的提升夜晚图像亮度，同时抑制噪声

第三部分

针对色彩偏差，提出基于范数全变分模型的夜间图像增强方法

第四部分

针对极低照度图像，难以恢复缺失的细节信息，提出基于稠密连接网络的夜间图像增强方法

夜间图像增强方法作用

夜晚图像增强方法提升降质图像的质量，即提升图像的亮度和对比度，提高图像内细节辨识度，保证增强结果的色彩真实程度，同时避免过度增强、光晕效应、噪声放大等。

夜间图像的特点

上图的直方图是白天
下图的直方图是夜间

由于拍摄环境光源亮度不足，导致采集的图像整体亮度偏低或极低，丢失细节信息
由于光源分布和强度的问题，使得照明光难以均匀传播到场景内的所有位置，导致采集到的夜晚图像出现类似 High-Dynamic-Range（HDR）图像的情况。

HDR 图像虽然也存在跨度很大的亮度分布，但是图像中较暗区域的细节信息并不是丢失，且图像的清晰度通常很高，不会受到噪声的干扰。

HDR——即高动态范围图像(High-Dynamic Range，简称HDR)，相比普通的图像，可以提供更多的动态范围和图像细节，根据不同的曝光时间的LDR(Low-Dynamic Range)图像，利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像，能够更好的反映出真实环境中的视觉效果。

夜间图像的光源并不像 HDR 图像中的光源具有很高的强度和辐射范围，这让获得的夜晚图像的质量远低于HDR 图像，包含更多的噪声干扰，

3.夜晚光源的种类复杂，很多光源产生的照明光都带有颜色，如卤素灯、钠灯、霓虹灯等等

4.夜晚图像因为照明不足的缘故，通常包含分布复杂、种类繁多的噪声。当照明光暗淡时，摄像设备难以捕捉物体表面的反射光，使拍摄的图像内包含大量的随机噪声，即使人为提升曝光时间和相机感光度（ISO 值），也会在成像设备产生大量噪声。在夜晚图像中常见的噪声有脉冲噪声、读出噪声、散粒噪声、暗电流噪声、固定模式噪声和各种随机噪声。在提升夜晚图像亮度的同时，噪声也随之放大

5.传统方法效果不佳

夜间图像增强方法研究现状

基于底层图像处理的夜晚图像增强方法

全局夜间图像增强算法

使用线性函数提升图像亮度

不考虑图像亮度的空间分布，致使出现过饱和现象

使用非线性拟合函数
全局直方图均衡化

局部夜间图像增强算法

局部直方图均衡化
滑动窗口策略

图像分块算法，不重叠
滑动窗口重叠算法
滑动窗口部分重叠算法

图像全局增强和局部增强算法结合

通过变换色彩空间，分别处理图像的亮度、饱和度和对比度等信息，使用全局色调映射、局部色调映射、全局与局部直方图处理等方法组合在一起，构建复杂的色彩与亮度调整方法

缺点

传统的线性、非线性方法只能增强图像特定特征，容易降低其他方面的显示效果，例如出现色彩失真或细节丢失等。

基于物理模型的夜晚图像增强方法

问题场景

夜晚场景光照来源复杂，既包含微弱的自然光照（如月光、星光等），又有人造光源产生光照（如路灯、车灯等）。
当场景内不存在人造光源时，自然光照产生的光线通常很微弱，即场景内物体表面接受到的可见光的平均面积上的光通量（简称照度）很小，产生的反射光被普通摄像设备捕捉成像，这样生成的夜晚图像亮度很低，
但是由于人造光源的光线辐射强度不及太阳光照，只能影响局部场景，造成了采集的夜晚图像亮度分布不均匀，亮度较暗区域可见度低，细节损失严重，而光源附近区域亮度很高，细节信息也会被掩盖，使夜晚图像的亮度分布近似质量降低的 HDR 图像，不利于后续使用。

解决问题方法

基于一个观察，即低照度和光照不均夜晚图像的反转图像的亮度分布与浓雾天气采集的图像的亮度分布及其相似，采用 Retinex 模型、暗通道先验和大气散射光照模型增强夜晚图像，提升夜晚图像的质量。

Retinex理论

Retinex 理论是人类视觉的一种颜色感知模型，反映人类色觉的基础机制，既取决于视网膜感光细胞（Retina）的捕捉，也取决于这些信号在大脑皮层（Cortex）的解释。其基本思想是人感知到某点的颜色和亮度并不仅仅取决于该点进入人眼的绝对光线，还和其周围的颜色和亮度有关。
Retinex 理论基础是物体颜色由物体对不同波长光线的反射能力决定，而非反射光线的强度，物体的色彩不会被光照的非均匀性影响，具有一致性，即Retinex 以颜色恒常性为基础。在 Retinex 模型当中，光照强度和物体颜色时不相关的。

Retinex优点

Retinex 模型可以在多任务中达到平衡，同时兼顾动态范围压缩、边缘增强、亮度和对比度增强及颜色恒常几个方面达到平衡，可以适应不同类型的图像进行自适应性的增强。

公式推导

I = S ∙ R [R]

I 表示人眼或摄像设备能接收到的反射光图像，
S 表示入射光图像强度决定了图像像素值能达到的动态范围，反映场景内光照信息，因此也被称为照度分量（或照明图，Illumination map），

要想准确的估计照明图只能依靠计算像素本身和图像中其它像素的关系。
照明图为灰度图
得到的图像的亮度则受到照明图的影响，部分区域变暗。

R 表示场景内物体的反射性质图像，这是物体的固有属性，不随光照的变化而改变，也被称为反射图（Reflectance map）。

色彩信息都包含在反射图中

原理

如果能够准确分离 S 和 R，那么通过调整 S 的强度，就可以实现对 I 的亮度提升。

基于 Retinex 模型的图像增强算法

基于图像块的 Retinex 算法

是对 Retinex模型最简单、最直接的应用。
基于光照平滑变化这一假设，研究者认为图像块中心像素和周围区域应该具有相同或相近的照度值，可以通过比较去除光照的影响。
Jobson 等提出了单尺度 Retinex 算法（Single Scale Retinex, r = log(I) − log(S) = log(I) − log(𝐹 ∗ I) [R]

r=logR,r为输出结果，𝐹为卷积核，∗表示卷积操作，log(𝐹 ∗ I)用来平滑反射图像以模拟照度图。

log(𝐹 ∗ I) = log(𝐹 ∗ (S ∙ R)) = log(S ∙ (𝐹 ∗ R)) [R]

SSR原理
- SSR 通过图像块内像素亮度的相互对比去除了光照影响，在光照平滑变化的情况下能够保持色彩恒常。
SSR缺点
- 但是因为高斯核的尺度会影响最终的增强结果，过大或过小的高斯滤波核会导致增强不足或曝光过度；
- 另外高斯滤波不具备边缘保持的特性，容易在亮度较高区域出现光晕现象，影响增强图像的质量。
- SSR算法虽然提升了图像的亮度，但是图像质量遭受了严重的损失，细节破坏严重；
MSR优点
- 研究者提出多尺度 Retinex 算法(Multi scale Retinex, MSR)来解决单一尺度高斯核无法保证增强图像质量的问题。
- MSR 算法能够同时保持图像质量和对图像的动态范围压缩。
MSR公式

【R】

MSR缺点
- 但是上述 Retinex 算法都基于初始光照图像平滑变化，即 S 是平滑的。
- 在实际情况中，亮度相差较大的区域边缘处，往往光照并不平滑，这样Retinex 算法产生的结果会出现光晕现象。
- MSR 大幅度的提升了图像对比度和局部亮度，但是不难发现得到的增强结果局部信息丢失，图像失真严重。
MSRCR提出原因
- MSR在处理有噪声干扰的图像时，会导致局部细节色彩失真，使结果的整体视觉效果变差。
MSRCR原理
- Rahman 等提出了带色彩恢复的 MSR 算法（Multi scale Retinex with color restoration，MSRCR），在 MSR 算法的基础上，增加了色彩恢复因子 C 来调节由图像局部区域对比度变化导致的色彩失真。
- 还有一些 MSRCR 算法的变种算法分别针对彩色图像色彩偏差问题和光照不均的问题。
- MSRCR 能够保持增强图像的自然性，图像亮度分布更合理。
MSRCR公式

【R】

基于PDE 的 Retinex 算法

原理

在照明光应该平滑变化的先验假设下，照明图 S 应该处处平滑，即 S 内所有位置的偏导数应该为一个很小值，而反射图 R 对应物体对光线的反射能力，只有在两个物体间存在变化，即同一场景内单一物体表面的反射率不变，只在边缘出有较大变化。基于这一思想，可以得出一个近似的泊松方程。

公式

求解泊松方程
- Horn 等使用迭代策略求解该泊松方程。
- 而 Blake 等对这一方法进行了改进，使用梯度算子代替拉普拉斯算子表示亮度的变化，更贴近 Retinex模型本身的物理意义。
- Ma 等分析基于 PDE 的 Retinex 算法发现，其本质可以视为一个优化问题，可以通过最小化𝐿2范数或𝐿1范数函数求反射图 R，可以表示为下式所示：
基于路径的 Retinex 算法

基于变分模型的 Retinex 算法

原理
- 在夜晚图像增强的过程中，图像中的噪声会降低增强结果的图像质量，特别是随着亮度的提升噪声也被放大，这时就需要一种算法能够抑制噪声放大的产生。
求解变分模型思路
- 将 Retinex理论和全变分模型结合在一起，能够融合一些假设和先验为全变分模型增加约束项，在满足 Retinex 理论的大前提下，针对现实问题增加具体限制条件，最小化Retinex的变分形式。
- 先计算照明图，再平滑处理反射图【基于图像分解的夜间图像增强方法】
基于大气散射光照模型进行夜晚图像增强的方法

原理

大气散射光照模型一般用于描述有雾天气和水下环境光线的传播过程，认为拍摄设备采集的图像质量降低，是由场景内物体反射光在传播过程中被传播路径内存在的微粒吸收散射和光照在传播介质中散射的背景光影响造成的。

图像特点

即夜晚图像反转之后的像素值直方图分布与浓雾天气的图像像素直方图分布及其相似

公式

将图像降质过程建立成数学模型，

I = J ∙ t + A ∙ (1 − t)
- I表示观察或拍摄到的质量降低的图像，
- J表示在正常光照条件下场景内物体反射光得到的图像，即本文需要得到的清晰图像。
- A称作大气光，表示场景内的全局光照，一般是图像中亮度最高的像素点的值，
- t被称作透射函数（也称为透射图），表示光线传播过程中传播介质对光线的散射和吸收能力，与物体到观察者的距离有关，距离越远，图像质量降低越多，受到大气光的干扰也越严重。
暗通道先验
- 大气散射光照模型描述了均匀光照场景内光线和传播介质对图像质量的影响，可以有效描述烟、雾、霾等天气条件下图像质量降低过程
I = J ∙ t + A ∙ (1 − t)
- 模型分为两项：J ∙ t 称为直接衰减（Direct attenuation），A ∙ (1 − t) 成为大气光干扰（Airlight interference）。
- 假设光线经过的传播介质是同质（传播介质分布均匀，对光线干扰能力与空间位置无关）时，其中的透射函数t表示为：
- 但是使用大气散射光照模型计算 J 是一个病态问题，为了求解这个问题，需要提供额外的场景信息或先验增加约束以简化求解难度，其中最著名的先验之一就是暗通道先验。
求解

将这个先验引入大气散射光照模型中，假设大气光A已知（事实上，估计大气光的值相对简单），透射图t能够直接计算得到，那么清晰图像J也就能够直接计算得出，降低了求解病态问题的难度。

暗通道先验理论
- 暗通道先验（Dark channel Prior）是基于统计意义上的观测得到的自然图像先验。
- 暗通道值可以定义为一定大小的图像块内，RGB 色彩通道中灰度值的最小值。使用暗通道值代替图像块的中心像素的灰度值，得到的灰度图像可以称为暗通道图。
求解夜间反转图像Ire

首先，反转夜晚图像就是计算当前图像和像素取值空间的最大值之间的差，作为反转图像。本文将输入夜晚图像的取值范围规定为[0,1]，则计算反转图像的方式为

暗通道图的计算方式
- 本文更改了暗通道图的计算方式。为了避免块效应的产生,本文设计了边缘保持的多尺度中值滤波器代替局部最小亮度值的计算
- 在计算初始的暗通道图时，本文松弛了暗通道先验的约束，避免边缘区域出现块效应。
- 初始暗通道图的计算方式
暗通道图的处理
- 平滑暗通道图，中值滤波
- 进一步平滑暗通道图，使用图像局域标准差（Local standard deviation，LSD）表示图像局部纹理信息。从𝐷m内移除这些纹理，得到的暗通道图更加平滑。
- 在最后增加一步阈值操作，降低过高的暗通道图的值
求解大气光值A
- 大气光A通常采用场景内的最高亮度值
- 在图像去雾方法中，也有采用最高亮度值乘以一定系数作为大气光值
常用方法：
- 如采用 0.98 作为系数；
- 抑或在使用暗通道图的方法中，采用暗通道图中最亮的 1000 个像素点对应的输入图像的最亮像素值作为大气光值；
- 也可以计算最亮的若干个像素点的值的均值作为大气光值；
- 或者使用最小化能量函数的形式来计算大气光
本文方法
- 现象：夜晚图像内总是存在若干极暗的图像区域，而对应到反转图像时，这些图像区域的亮度值就会很高，而在计算大气光的值时，所取的像素点也总是在这些区域当中
- 那么本文就采用最简单的方式计算大气光值，即取图像亮度最高的像素点的值作为这张反转夜晚图像的大气光值。
- 基于视频，可以使用逐帧累计大气光值
增强结果理论分析
- 大气散射光照模型中的未知量A和t都已经得到，直接带入，就能够计算得到反转的增强结果
- 然后反转结果得到最终的增强图像
- 优化了 Retinex 模型在夜晚图像增强任务中的应用方式。
基于图像分解的夜晚图像增强方法
- 根据现实世界的光线传播性质，合理假设拍摄场景内光线平滑变化，即图像内的照明图是局部平滑的。这样，就能够通过对输入图像的平滑处理，得到照明图。
- 使用图像分解方法计算照明图也需要给出初始照明图。
- 要移除细节以保证照明图的平滑，最直接的方法就是应用能够保持边缘的图像滤波器。
有两种方法给出初始照明图
- （1）将图像从 RGB 色彩空间映射到 HSV（Hue，Saturation, Value）色彩模型空间，然后提取明度 V 作为初始照明图。
- （2）计算 RGB 三个色彩通道之后的最大值构成初始照明图。
基于图像融合的夜晚图像增强方法
- 融合不同种类的图像也能够提升夜晚图像的质量
- 融合不同时间段（白天清晰图像&夜间模糊图像）的图像也能够提升夜晚图像的质量