Image Processing for Embedded Devices <7>
2.3.2 CFA和Bayer模式
2.15 Bayer颜色过滤排列结构：(a)sensor表面CFA；(b)光分成颜色分量影响sensor上不同像元
成像器件传感器上的每个像元都含有一个光电二极管，用以测量光照亮度。因为光电二极管是单色器件，不能区分不同光波长。因此，”马赛克”模式的颜色过滤器，颜色过滤排列(CFA)被置于sensor上面，可以过滤出入射光中红，绿，蓝分量。虽然GRGB Bayer模式从1976年起就是最常用的CFA，人们也在调研定义更多可用的CFAs。图2.15展示了一种经典的Bayer CFA和sensor如何采集颜色分量。
全彩 Sensor
2.16 全彩sensor结构：(a)经典Bayer CFA sensor平面；(b)新的全彩sensor平面，50%的平面用于白像元；(c)等效全彩宏块由经典RGGB宏块加白宏块组成；(d)彩色图像分解，全彩sensor产生图像更贴近人类视觉
近年柯达，Bayer格式的发明者，提出一种新格式，全彩sensor。这种sensor的优点是50%像元是白的(表面不置颜色过滤)光灵敏度更好，可在低照下使用。这个结构另一个重要优点是一个Bayer 2x2宏块对应于一个4x4块(图2.16)，因此在每个块中有更多绿，蓝和红像元，另外白像元可用于重构光强度。
为了理解全彩sensor在低照度下灵敏度的提升，通过如下公式表示光照能量，依照ITU-RBT.601从RGB分量拆分。
针对一个CFA的Bayer宏块应用上述公式：
采集效率少于40%；大概有60%的光子丢失和被过滤单元吸收。
针对一个全彩sensor宏块应用同样公式：
通过这个sensor大约有70%的光照被采集到。作为结果，就采光效率而言，全彩sensor是Bayer sensor的1.76倍。当然在比较不同sensor模式是不能单单分析采光效率。另一个让人关注的方面是图像处理pipeline。市场上大部分相机sensor都采样Bayer格式。这意味着Bayer格式成了一个标准存在。新格式，有别于经典格式，即使有些优点，在需求图像处理方面存在不便之处。
2.17 柯达专利的全彩sensor图像生成pipeline
图2.17为柯达专利的pipeline。它不同于通用pipeline，如自动曝光控制，降噪，去马赛克(尽管Bayer上的某些方法可以复用)，色彩准确度，锯齿和锐化。
Foveon Sensor
2.18 Foveon sensor结构. (a)颜色平面叠在一起；(b)Foveon sensor和Bayer sensor比较
Foveon X3图像sensor由3层像素。像素层切入在硅内利用红绿蓝光穿透硅至不同深度的原理构成第一款采集图像每个点都能采集全部颜色的图像sensor。图2.18展示了光通过sensor的不同穿透能力和sensor表面3个颜色层的相对位移。因此，和Bayer sensor相比，这个sensor不需要颜色去马赛克处理，同样图像质量要求下，所需像素数量明显更少(1 Foveon = 4 Bayer sensor)。
Foveon X3 sensor可以有更大的像元，从而能收集更多光子。另一方面这种堆法更容易产生颜色串扰，从而限制SNR的表现。实际上蓝通道会有大量红绿信号渗透，绿通道会有大量红信号渗透，红通道是唯一低串扰的通道。针对Foveon sensor的图像处理需要数字端强串扰去除功能和专门的颜色处理用于恢复颜色还原性。接口深度和掺杂程度会严重影响色差还原性，因此图像处理控制需要特别注意。
2.3.3 不同动态范围sensor
真实场景具有非常大的动态范围，表2.2中做了简单总结(Lux是亮度的标准单位)。通常正常sensor不能采集到真实世界场景，尤其动态范围非常大时，如混有阳光和暗影区域的户外场景。以dB为单位标量动态范围使用如下公式，在真实场景下该值往往大于60dB。
DR表示动态范围(dB)，maxLux和minLux是场景内最大和最下的光照强度值以Lux为单位。一般sensor通常设计成线性响应和大约60dB的有效动态范围。为了得到更大的动态范围，需要更改sensor响应函数，从线性变成非线性(通常对数)从而在sensor存储阶段直接压缩动态范围。
2.19 真实世界动态范围和LDR/HDR sensor类范围
图2.19展示了一般sensor(亦称作LDR sensor)和HDR sensor的差别。图中dB值表示像素累积单元每秒存储电荷的最大最小eV比值。HDR的动态范围有80dB高于LDR。在这两类sensor之间，有另外一类，称作WDR，特征为sensor响应函数依然线性但动态范围高于LDR sensor。
