Image Processing for Embedded Devices <3>
1.1.4 去马赛克
数字相机，为了降低成本和复杂性，通过单色sensor覆盖CFA(颜色滤波排列)的方式采集图像。许多CFA发展了起来，但最通用的还是Bayer模式。这个简单CFA，用以表征人类视觉系统特征(与其他主要颜色相比人眼对绿色最敏感)，包含红蓝像元2倍数量的绿色像元。Sensor提供空间上的欠采样颜色通道(Bayer模式下有3种)信息，所有的颜色信息通过颜色插值算法(去马赛克)重构得到。去马赛克是非常关键的任务。这个步骤会产生许多令人讨厌的人造现象，严重影响图像质量：拉链效应，伪色，摩尔效应等。简单通道间插值算法(如，双线性，三次方)不太好用，更多先进的解决方案(通道间)被发明出来，基于空间域和频域。嵌入式设备中这些算法的复杂度必须较低。去马赛克往往不能完全消除伪色和拉链效应，因此图像处理流程中经常包括旨在去除残留人造现象的后处理模块。更多去马赛克算法介绍详见第7章。
1.1.5 颜色矩阵
颜色矩阵子系统，也被叫做颜色校准，目的在于将采集设备的颜色响应转换到标准颜色空间。通常使用ITU-R BT709指导下的标准RGB(sRGB)颜色空间。因为sensor的光谱灵敏度函数和想要的颜色空间是不匹配的，所以进行转换是有必要的。矫正公式通常如下：
A是3x3矩阵，RGBin和RGBout是颜色矩阵处理前后的图像。矩阵系数不是通过有效响应获取的，通常根据现实采集通过最优化方式得到。此外通常需要遵从白色保护限制，限制如下(详见第5章)：
1.1.6 图像格式
Sensor采集的数据必须能被协处理器或主机微处理器进行处理，因此两个系统必须共有一个通信协议和数据格式。此外，在图像生成pipeline的末端图像需要在标准格式下进行编码，这样图像在任意外设中都可读。通常sensor以bayer格式提供采集的图像。之前bayer数据都是以私有格式和协议进行存储和传输的。这种解决方案就存在缺点：每一个客户都需要设计相同的私有接口用以管理sensor数据。在过去的几年间，从事生产，购买或定义相机模组的主要公司提出新的标准，移动图像结构标准(SMLA)。它允许Sensor和不同销售商的主机间的互联。
考虑到协处理器的输出，几个标准格式都是可用的。对于静态图片最常用的格式是有损压缩的JPEG和无损压缩的TIF。对于尖端相机sensor的输出可直接被保存。这种情况下，通常采用私有的文件格式(如，尼康电子图像格式(NEF)，佳能裸数据文件格式(CRW)，等)。对于视频而言最常用格式标准为Motion JPEG，MPEG-4，H263和H264。
第11章介绍主要数据格式。此外会介绍一些有关压缩因素控制和错误隐藏技术。压缩因素控制目的在于使文件大小尽可能接近目标值，而错误隐藏在于处理字节流中的错误尝试恢复丢失的信息。
