Image Processing for Embedded Devices <1>

前言

         自20世纪末10年起，随着数字图像设备的巨大变革，嵌入式设备中的图像处理越来越成为令人感兴趣的领域，并且将在本世纪发展成新的尖端领域。不论其关联，据本人所知，目前还没有一本综合性的围绕图像处理设计的实际应用方面的刊物。

         在经验丰富的学术界的研究员和工业界的研究员及工程师的共同努力下，本书涵盖基本的嵌入式端图像处理内容，有曝光矫正，自动聚焦，颜色重现，降噪，去马赛克，编码，去红眼，图像分类，相关的质量度量和图像相关的最新趋势。

         所有有关现有图像系统的基础内容每天都在不停地延展的背景下，编者在表达撰稿者的思想做出了杰出的工作，这些撰稿者工作中面领着思考图像处理的解决方案并且在嵌入式图像设备中实现该方案的挑战。

         我相信，本刊物将不仅仅有助于图像学和工程学的学生，也将是图像行业的学术研究员和工程师的参考书。

         本刊物也是独特的，它跟随电子书潮流，不以传统纸质书本形式出版。通过现有市场上的电子阅读器将更易获取，更轻便，并且不进行印刷会潜在利于环境。电子刊物也具有其特性，通过电子翻译器更便于多种语种阅读和用于文语转换软件。

         很荣幸可以为这权威的多作者的国际化刊物撰写前言，出版物论题切合图像行业。最后，我对所有编者和撰稿者表示敬意，因为他们的努力创造了如此成功的刊物。

第一章 基本原则和软硬件区分

摘要：本章节的目的在于说明涉及单传感器图像设备相关的技术论题的基本原则。简单认为典型图像处理流程中每一个组成部分都需要重视在所有图像设备中的表现，从低端到高端，是几个组成部分组合在一起构成的复杂系统的处理结果。最终图像/视频的质量取决于明确的几个功能的选择，总的来说，包括所有的软硬件技术。如序言中简短的声明，本书目标涵盖应用于消费级图形设备的数字图像处理的算法和方法。说得更确切点，我们将介绍具体的CFA(颜色滤波排列)域图像处理的基本原则，包括去马赛克，增强，降噪，点对点矩阵化压缩，色彩平衡和曝光矫正技术，作用于sensor输出的数据。总结一下，本章包含pipeline中基本模块的相关议题和对软硬件区分设计方面的简单描述。

 

1.1      最简单的图像处理流

 

图1.1 典型图像处理pipeline，数据（典型Bayer格式）从sensor输出被初次解析获取用于配参的统计数据（前采集模块），然后适当处理使其可获取，最后获得场景对应的压缩的RGB图像（后采集模块和相机应用模块）

 

一个典型的图像pipeline（如图1.1）由两个功能模块（前采集和后采集）组成，模块中对sensor输出CFA格式数据进行适当的处理。前采集模块是指对sensor输出的实时数据进行解析并收集用于矫正配参的统计数据的阶段。某些情况下还会提供一些应用功能。

         最初的数据源自sensor，以矩形形式呈现。每一个像素具有一种颜色的数值，根据所用的CFA，一般采用经典的Bayer格式。我们暂时先忽略光学和sensor性能相关的细节，这些会在接下来的章节详细介绍。通过点对点的算法和方法的应用从CFA数据最终得到场景对应的压缩的RGB图像。一些高端设备可以保存不经任何处理包括压缩的输入数据，以raw格式这种中间格式提供，raw数据中各个像素值与sensor中对应感光像元采集所得一一对应。

在余下情况下，一个图形处理pipeline用于重构丢失的数据，尽可能最大化相关图像质量。接下来的部分我们用几个例子简单总结下典型的必要的处理步骤，介绍下相关算法的初步概述，更多详细内容会在书本后面章节展示。

         如图1.1描述，会有一系列功能应用在特定的相机应用模块：这些功能不是必须的，常包括全景，缩放，去红眼等。某些还会有输入场景在不同曝光下/不同聚焦设置下的多帧采集功能。举个通过黑白sensor采集所得的Bayer图像的例子，在pipeline末尾得到对应的RGB图像，如图1.2，1.3所示。

 

图1.2 例子：黑白sensor采集得到Bayer图像(a)，在pipeline末尾得到对应的RGB图像(b)

 

 

图1.3 图1.2的局部放大细节