ISP基础（0x）：rolling shutter 和 global shutter

需要知道CMOS传感器的工作方式并不是像很多人想象的那样通过一个信号线就可以控制曝光的开始和结束。传感器的感光二极管不停的在捕获入射光子并转换成电子存储在电荷井中，控制部分可以将其读出和清零，但不能停止曝光。那么电子快门是怎么实现的呢？都存在哪几种快门，原理是什么？

1、什么是shutter？

快门是照相机用来控制感光片有效曝光时间的机构。是照相机的一个重要组成部分，它的结构、形式及功能是衡量照相机档次的一个重要因素。一般而言快门的时间范围越大越好。秒数低适合拍运动中的物体，某款相机就强调快门最快能到1/16000秒，可轻松抓住急速移动的目标。不过当你要拍的是夜晚的车水马龙，快门时间就要拉长，常见照片中丝绢般的水流效果也要用慢速快门才能拍出来。Global shutter 曝光时间更短，但会增加RMS 读出噪声；Rolling shutter可以达到更高的帧速，但当曝光不当或物体移动较快时，会出现部分曝光(partial exposure)、斜坡图形(skew)、晃动(wobble) 等现象。曝光时间短的应用（如<500μs）适合Global shutter，曝光时间长（如大于500μs）时，选择rolling shutter可以有更低的噪声和帧速。

1.1 什么是global shutter？

通过整幅场景在同一时间曝光实现的。Sensor所有像素点同时收集光线，同时曝光。即在曝光开始的时候，Sensor开始收集光线；在曝光结束的时候，光线收集电路被切断。然后Sensor值读出即为一幅照片。CCD就是Global shutter工作方式。所有像元同时曝光。
如果被拍摄物体相对于相机高速运动时。用Global shutter方式拍摄，假如曝光时间过长，照片会产生模糊（拖尾）现象。

1.2 什么是rolling shutter？

与Global shutter不同，它是通过Sensor逐行曝光的方式实现的。在曝光开始的时候，Sensor逐行扫描逐行进行曝光，直至所有像素点都被曝光。当然，所有的动作在极短的时间内完成。不同行像元的曝光时刻不同。
快速运动的物体，行曝光时间内的微小位移造成：部分曝光现象(partial exposure)、斜坡现象（skew）、晃动现象（wobble），这种Rolling shutter方式拍摄出现的现象，就定义为果冻效应。

2、电子快门

2.1 electronic rolling shutter

目前大多数CMOS传感器采用这种快门。对任一像素，在曝光开始时现将其清零，然后等待曝光时间过后，将信号值读出。因为数据的读出是串行的，所以清零/曝光/读出也只能逐行顺序进行，通常是从上至下，和机械的焦平面快门非常像。
和机械式焦平面快门一样，对高速运动的物体会产生明显的变形。而且因为其扫描速度比机械式焦平面快门慢，变形会更加明显。例如如果数据的读出速度是每秒20帧，那么图像顶部和底部的曝光先后差异将多达50毫秒。
为了弥补这个缺陷，通常数码相机中通常配合机械快门，曝光开始时整个图像传感器清零（目前的绝大多数传感器都具备快速清零功能，可以在几个时钟周期内完成整个传感器的清零），然后机械快门打开，曝光结束后机械快门关闭，数据顺序读出。

2.2 行扫描

Progressive scan CCD 逐行扫描CCD
在曝光之前整个图像重置，将任何在光电二极管中的残余电荷清除；然后光电二极管在曝光时间中积累电荷；在曝光时间结束后，所有的电荷同时传送到传感器的光屏蔽区域。然后电荷从传感器的光屏蔽区域转移并读出。在这种模式下曝光控制不需要机械快门

Interline mode 隔行模式
一些CCD只能在隔行模式下读出。在这种模式下，电子快门在曝光前将所有光电二极管重置，和逐行扫描模式一样。但是在曝光结束时，并不是所有电荷能同时从光电二极管中传送出；图像的奇数行与偶数行电荷必须在不同的时间内转移；所以图像不能正确的结束曝光-奇行和偶行将有不同的曝光时间；这种情况下需要继续快门来正确的结束曝光；一旦机械快门关闭，图像的奇数场和偶数场可以在不增加任何额外的曝光下时间下读出。这就是大多数消费类相机的操作方法。

CMOS Rolling shutter
cmos图像的卷帘式快门工作原理类似电影摄像机的焦平面快门。一般的，图像传感器中像素行按照次序重置，从最上面开始然后一行行进行直到最下方；当这个重置电路已经往图像下方移动了一些距离，读出开始：像素行按次序读出，从最上面开始然后准确的以同样的方式和像重置进程一样同样的速度一行行进行直到最下方。从一行开始重置到一行开始读出的时间就是曝光时间；通过变化在当重置扫过一行和当这一行的读出发生之间的时间数目，可以控制曝光时间；在卷帘式快门中，曝光时间能够变化，从单线（重置之后，下一行读）直到全帧时间（在顶部读出开始之前，重置达到图像底部）或者更多。

2.3 全局快门(global shutter/snapshot shutter)。

最主要的区别是在每个像素处增加了采样保持单元，在指定时间达到后对数据进行采样然后顺序读出，这样虽然后读出的像素仍然在进行曝光，但存储在采样保持单元中的数据却并未改变。
这种机构的主要缺点在于增加了每个像素的元件数目，使得填充系数降低，所以很难设计出高像素数的传感器，另外采样保持单元还引入了新的噪音源。目前只有美光（Micron）和赛普拉斯（Cypress）生产具有全局快门的CMOS传感器，主要用于机器视觉和超高速摄影，目前最高分辨率为4M。

从上面可以看出，如果电子卷帘快门的移动速度如果能达到机械式焦平面快门的水平，就可以解除对机械快门的依赖。也就是必须提高数据的读出速度。
这个速度的主要瓶颈在于电荷从列放大器转移到公用数据线所需时间，具体来说就是通过一个运放给一个电容充电的过程，要提高其速度只能通过提高运放速度或降低电容值。前者会增加功耗和噪音，而后者则和传感器的行数成正比，所以像素数目越多则读出速度会越慢。短时间内，电子卷帘快门速度还达不到机械式焦平面快门的水平。