相机噪声建模研究
一. 相机噪声概述
图像噪音由于拍摄设备、传输误差、数据压缩或其他外部因素引入的。
它可以干扰图像的视觉质量，使图像失真，并可能影响后续的图像处理和分析。
在我们分析噪音时，通常要对图像的生成全流程进行追溯
1.1 光子的产生和传播(Scene radiance)
光源的光子通过物体进行反射
噪音来源
光子散射：光子在通过大气、水或其他透明介质时可能会散射，导致图像模糊或出现光晕。
散粒噪音（Shot Noise）：光子的量子性和其到达传感器的随机模式，导致入射的粒子呈泊松分布
颜色偏差（Color bias）：光子以一个与传感器平面不正交的角度入射时，这可能导致某些色彩的传感器响应减弱
1.2 镜头和光学系统
光子进入摄像机时首先会通过镜头。镜头聚焦光子，并决定如何将其引导到图像传感器
噪音来源
光学畸变：镜头的不完美可能导致图像边缘扭曲
透镜散射：镜头上的杂质或污渍可能导致光的散射，从而影响图像质量
色差（Chromatic Aberration）：不同波长的光在镜头中的折射率不同，可能导致图像的某些部分出现彩色边缘。
1.3 传感器接收(Sensor)
传感器接收到光子后，转化为电荷，这些电荷被存储在传感器的每个像素中
噪音来源
颜色偏差（Color bias）：传感器的响应不均匀
读噪音(Read noise)：当从传感器读取数据时可能引入的噪音
- 热噪音：在长时间曝光中，传感器加热可能产生随机噪音
- 固定模式噪音（条纹噪音）：这是由于传感器的不均匀性或电子电路的不同特性引起的
- 行噪音（Row noise）:传感器中每一行的读出电路的微小不同导致的，来源于制造过程的非均匀性，基本等同条纹噪音
暗电流噪音：即使在完全黑暗的环境下，传感器的某些像素还是会生成电荷
- 固定模式暗电流噪声 (Dark Current Fixed-Pattern Noise):由于制造差异和非均匀性，每个像素都可能有稍微不同的暗电流响应
- 黑电平误差噪声 (Black Level Error Noise):由于每个像素的这个基线输出之间的差异造成的
- 暗电流散射噪声 (Dark Current Shot Noise):由于热效应，暗电流具有随机波动，这导致了散射噪声
1.4 ISO放大器(Amplifier)
在读取传感器上的信号之前，根据ISO设置，这些信号可能会被放大
噪音来源
增益噪音(Gained noise)：增益放大不仅放大了信号，还放大了任何存在的噪音
1.5 模数转换（ADC）
连续的模拟信号在离散的时间间隔内被采样，每个采样值都会被近似或映射到一组有限的预定义值中的一个
噪音来源
量化噪音(Quantization noise)：由于量化的有限精度，每个采样值可能与实际的模拟值有所偏差
二. 噪声种类和分布
2.1 根据随机与否
随机噪音（random noise）
高斯噪音、泊松噪音
确定性噪音（fixed-pattern noise）
条纹噪音
2.2 根据是否依赖于信号
信号依赖的噪音（signal-dependent）
散粒噪音（shot-noise）遵循泊松分布，依赖信号和增益系数
信号独立的噪音（signal-independent）
暗电流噪音、读噪音、行噪音
2.3 噪声对应分布
2.3.1 Shot Noise
取决于于信号和增益系数的泊松分布
shot ∼ N(0, βshot·I)
该噪声是二维噪声，I为输入信号，βshot取决于ISO系数
2.3.2 Dark Current Noise.
需要综合考虑热效应的随机性、ISO依赖性以及空间的非均匀性
暗电流由固定模式暗电流噪声、黑电平误差噪声、暗电流散射噪声组成
DC = k·FP + BLE + DCSN
其中k线性取决于ISO系数，BLE非线性取决于ISO系数
FP是一个固定的非均匀变量， DCSN∼ N(0, σ^2）
2.3.3 Read Noise and Row Noise
读取的过程的不确定性会引入读取噪音，行与行的偏差引入行噪音
由于随机性，二者皆遵循高斯分布
read ∼ N(0, σ2read),row ∼ N(0, σ2row)
读取噪音遵循二维高斯分布，行噪音每一列遵循对应列的高斯分布
2.3.4 Quantization Noise
模数转换的时候精度有限，引入的噪音
遵循均匀分布，只与量化的精度有关
Nq ∼ U(−1/2q, 1/2q)
三. 噪音的物理消除
3.1 校正帧
flat-field frame
传感器处于均匀照射的环境下拍摄flat-field frame，用于计算相机sensor的放大系数
bias frame
传感器处于无光的环境拍摄bias frame，用于捕获跟输入信号无关的噪音
比如暗电流噪音、读噪音、行噪音和量化噪音
3.2 叠加（Overlap）
通过将多个噪声图像叠加（或平均）来消除随机噪声
- 随机噪声的独立性：如果噪声是随机的，并且与实际的图像信号无关，这些随机噪声的贡献会逐渐趋于零（或至少显著减小）
- 信号的累积：叠加或平均多个图像时，真实的图像信号会累积
- 大数定律：当你取一个越来越大的样本时，样本的平均值越来越接近整体的真实平均值
- 方差减少：对于独立的随机噪声，当你平均N个图像时，噪声的方差会减少到原始方差的1/N
对于完全随机的噪声，这种方法是非常有效的。
但对于固定模式噪声和黑电平误差噪声这样的确定性噪声无法消除
3.3 长曝光（Long exposure）
通过让传感器累积更多的光子，消除噪音
- 信噪比（SNR）增加：噪音通常是随机的，图像的信号增加从而使得信噪比增加
- 随机噪音平均：随机噪音会被平均掉
- 减少ISO增益：在充足的曝光条件下，相机可以使用较低的ISO值进行长曝光，这会减少由于ISO增益引入的噪声
图像传感器长时间处于激活状态时，由于其固有的热量产生，暗电流噪声可能会增加
在动态场景中，长时间曝光可能导致运动物体模糊，同时，长曝光可能导致图像部分区域饱和或过曝
