文献阅读——Dynamic Range Compression Preserving Local Image Contrast for Digital Video Camera
Dynamic Range Compression Preserving Local Image Contrast for Digital Video Camera
数字摄像机中保持局部图像对比度的动态范围压缩
摘要
本文提出了一种新的数字摄像机动态范围压缩方法。该算法的目的是在像素和周围注意力区域的亮度比来保持局部对比度。通常,数字视频摄像机需要将阴影保持到中间范围亮度,这样的阴影区域往往包括主要对象,例如人脸区域。根据该要求,大多数数字视频摄像机已经采用拐点曲线作为动态范围压缩函数,仅压缩拐点以上的高亮区域。但是这种方法具有严重降低高亮区域对比度的缺点。为了克服这一弱点,该算法自动和自适应地增强高亮区域的局部图像对比度。结果显示,在不抑制阴影到中间亮度的情况下,逼真地再现了诸如蓝天的高亮区域。
关键词
数码摄像机、动态范围压缩、拐点函数、局部对比度
I.介绍
数字视频摄像机通常具有捕获具有约200%至600%亮度水平的高动态范围(high dynamic range, HDR)图像的能力,而大多数显示设备具有仅具有约110%亮度水平的低动态范围(low dynamic range, LDR)。因此,动态范围压缩技术对于显示由数字视频摄像机捕获的图像是必不可少的。在许多情况下,通过动态范围压缩来保持阴影到中间亮度范围中的输入水平,从而不降低诸如面部区域的主被摄体的亮度。因此,大多数传统的数字摄像机采用拐点曲线作为动态范围压缩函数。如图1所示,该方法强烈地压缩了拐点上的高光范围,因此高光区域(例如天空区域)中的对比度大大降低。在此基础上的改进算法会使用自动拐点函数曲线。该方法旨在通过根据最大亮度水平或高光区域中的像素数量调整拐点,自适应地为高光范围分配更多的色调级别。然而,自动膝关节略微提高了高光对比度,而不是降低中间范围内的亮度。

图1 传统拐点曲线和自动拐点曲线
这些技术是空间不变的算法,与传统的高动态范围压缩算法[1-4]一样,它们将单个色调映射曲线均匀地应用于整个图像。这些方法的优点在于它们的简单性和计算效率,通过使用查找表的一对一映射。然而,使用单调增加的色调映射曲线很难同时保持阴影和高光区域的视觉对比度。
另一方面,最近提出了一些空间变化色调映射算法[5,6]。由于它们将不同的变换应用于图像的不同部分,因此它们实现了灵活的色调映射。一些以前的工作,如Fattal等人[7]表明,重要的是色调再现保持局部图像对比度,这意味着像素与其局部周围的亮度比。此外,Jobson等人[8]提出了一种基于Land的“retinex”理论[9]的动态范围压缩方法,该理论是亮度和颜色感知的视觉模型。他们的中心/环绕模型通过取像素亮度与其低通滤波的对数比来去除空间变化的光源。Chiu等人也提出了类似的算子[10]。然而,之前的大多数空间变化色调映射算法都没有阐明色调映射水平与局部图像对比度之间的关系。因此,很难将这些方法应用于数字视频摄像机的动态范围压缩,因为基本色调映射曲线应易于控制,以保持阴影到中等的亮度映射,同时保持在任何亮度水平下,视觉对比度尽可能与原始相同。此外,以前的工作需要很多参数,充分设置参数也是相当困难的[11]。
为了解决这些问题,本文提出了一种新的数字视频摄像机动态范围压缩算法[12]。
我们假设,如果在任何像素的局部对比度不改变,视觉对比度也被保留。基于这一假设,我们首先开发了一种新的算子来保持局部对比度。该算子根据给定的基本色调映射曲线,自动增强局部对比度,并在任何亮度水平下保持其接近原始图像。第二节介绍了这一算子。
接下来,我们尝试将此算子应用于数字摄像机的动态范围压缩。特别地,为了保持高光对比度而不降低阴影到中间范围亮度的质量,应当适当地确定基本色调映射曲线。第三部分介绍了数码摄像机基本色调映射曲线的功能设计方法。
应用所提出的算法,捕获的图像在任何亮度水平都可以再现逼真的高对比度。在第四节中,实验证明了所提出的算法的性能。
最后,第五节介绍了结论和讨论情况。
II.NOVEL OPERATOR FOR PRESERVING LOCAL IMAGEC ONTRA
视觉对比度高度依赖于局部对比度,局部对比度是指像素与其局部周围的亮度比。但空间不变的色调映射曲线无法保持局部图像对比度。另一方面,我们提出了一种新的算子以保持局部对比度。我们称之为局部对比度范围变换LCRT(Local Contrast Range Transform)。
LCRT的概念如图2所示。

图2 LCRT概念图
保持局部对比度的数学条件描述如下。
这里,
其中,
其中
此外,假设近似满足以下等式。
用
这里,将
在该等式中,右侧的第一分量
当输入亮度水平
此外,我们修改
在亮度域中,该等式也被重写为以下等式。
在这些等式中,$\alpha
在我们的基本模型中,以高斯滤波器作为空间平均滤波器,公式如下。
在该等式中,
此外,$\sigma
III.LCRT在数字视频中的应用
数码摄像机要求满足的条件是动态范围压缩,阴影到中间亮度范围、包括主对象不会降低。为此会采用拐点曲线作为动态范围压缩函数,但是难以同时保持高亮区域的对比度。针对这一问题,本文提出了一种基于LCRT的动态范围压缩算法。本节详细介绍了确定数字摄像机和整个系统的基本色调映射曲线的实用方法。
A.数码摄像机的基本色调映射曲线
通常,将传统的拐点曲线应用于由相机伽马处理的图像。因此,在本节中,我们将处理亮度由相机伽马处理的域中的色调再现,我们称之为相机伽马域。
如前一章所述,一旦确定了
为了满足这个条件,我们提出了近似使用三次曲线的拐点曲线如下(见图3)。

图3 近似拐点曲线
在该等式中,后缀“
其中,
其中,
图4显示了与传统拐点曲线近似的色调映射曲线。在该图中,示出了

图4 传统和近似拐点曲线
B.LCRT在拐点曲线拟合中的应用
等式
其中,
一旦确定了近似拐点曲线,就可以通过用

图5 LCRT处理的近似拐点曲线

图6 应用不同 α 色调映射曲线
另外,应当注意,输出亮度没有色调跳跃,因为近似拐点曲线保证了在任何亮度水平下输出水平和一阶微分系数两者的连续性。
C.系统
图7总结了所提出的算法。我们的算法在亮度域操作,同最传统的动态范围压缩方法一致。因此,首先将捕获的RGB图像变换为亮度分量Y。接下来,通过将近似拐点曲线应用于亮度分量Y来计算基本色调映射图像FT。同时,使用例如高斯滤波器的空间平均滤波器卷积到亮度分量Y以计算得到像素周围的局部平均LA。根据

图7 本文算法完整系统
IV.实验结果
我们测试了我们提出的算法的性能。在这个实验中,我们使用的数码相机富士Finepix F710,以捕捉高动态范围的图像。这款相机有两个传感器,S(敏感)和R(范围)传感器,彼此相邻。S传感器就像普通传感器一样,R传感器灵敏度较低,并扩展了捕捉照片明暗的能力。首先,我们校准了这两个传感器。然后,我们将S和R传感器捕获的图像进行合成,以获得HDR图像用于我们的实验。最后,我们将我们提出的算法应用于HDR图像,并评估了性能。
A.校准
首先,对S和R传感器的灵敏度进行标定。在这个实验中,我们捕获了投影在屏幕上的测试图案,并比较了由两个传感器获得的图像,我们分别称之为“S图像”和“R图像”。图8示出了由S传感器捕获的图像。

图8 S传感器拍摄图像

图9 S和R传感器拍摄图像的关系
然后我们计算每个补丁的平均亮度,并绘制“S图像”和“R图像”的相应亮度之间的关系,如图9所示。该图说明两个传感器的灵敏度具有由以下线性方程近似的比例关系,
其中
其中,

图10 S和R传感器拍摄图像混合比例
在下面的实验中,我们设置
此外,我们设置HDR图像
B.实验结果对比
我们对许多测试图像进行了实验。在这个实验中,我们设置了如图6所示的相同参数。图11、图12和图13中示出了一些结果。每个图中的顶部、中部和底部行分别说明了全输入范围、近似拐点曲线和所提出算法的线性压缩处理结果。



图11-13 实验结果
而另一方面,在我们提出的算法的结果(底部行)中,高亮对比度高度保持,同时清晰地再现阴影到中间范围亮度。这些都与直接观察有密切的关系。
V.结论和将来的工作
本文提出了一种新的数字摄像机动态范围压缩方法。该算法与传统的空间变化方法一样,基于视觉对比度依赖于局部图像对比度的假设。该方法还具有满足数字摄像机不将阴影变为中间范围外观的要求的特点。
首先,我们提出了一种新的算子LCRT,它根据基本色调映射曲线自动自适应地增强局部图像对比度,并在任何亮度水平下保持与原始图像相同的局部对比度。其次,我们定义了一个近似的拐点曲线,保证在任何亮度水平的输出电平和一阶微分系数的连续性,保持功能接近传统的拐点曲线。然后,我们所提出的算法的动态范围压缩制定应用LCRT的近似拐点曲线。
实验结果证明了该算法的性能。这些结果表明,该算法保留了亮区的局部对比度,如天空区域或通过窗口看到的外部场景,而不会降低阴影到中间范围亮度,包括主要对象,如面部区域。
该算法有许多参数,但大多数参数是根据给定的基本色调映射曲线自动确定的。因此,我们只需要实验确定几个参数。
将该方法应用于数字摄像机的动态范围压缩,可以轻松再现任何亮度水平下的高对比度的真实图像。然而,目前所提出的算法需要很高的计算成本与大量的内存。算法的更有效的实现留给我们未来的工作。
附录
在本附录中,我们从
此外,
通过将
等式
这里,双对数域中的基本色调映射曲线的导数可以如下变换到亮度域。
因此,通过用
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 【自荐】一款简洁、开源的在线白板工具 Drawnix
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· Docker 太简单,K8s 太复杂?w7panel 让容器管理更轻松!