Image Processing for Embedded Devices <4>
1.2 硬件/软件区分
目前相机在移动式电话中越发有用,支持静态图片和视频短片的采集和传输(多媒体信息服务)。随着网络带宽(如,3G UMTS)的增加实时移动视频连接将是可行的,新功能如移动视频电话和视频聊天。必须指出,这些功能的易用性非常重要,这将是市场接受这个新服务的关键要求。因此不但要关注质量问题如帧和图像的稳定性,还有用户体验。例如自动检测跟踪用户人头位置功能,用以帮助移动视频电话会议中保持人脸处于相机视野中。但是图像设备处理单元需要低成本,低能耗,同时支持上述移动通信应用功能。为了满足成本和性能需求,图像设备系统通常有几个不同部件组成,有用户自定义加速器和标准处理器。这些部件的范围,速度,编程方法各有不同,系统功能性就是对这些部件进行划分达到最佳应用。然而对于性能的关键设计,只堆叠关键零件如客户自定义的高性能硬件是不够的,还需要在多个粒度级别上传输系统。通过可重新配置的硬件设备可以实现用户自定义加速器,如现场可编程门阵列(FPGAs)。软硬件区分(如,算法被智能地分成硬件加速和软件模块的结构定义)不是简单地设计软件或硬件,因为这些应用功能本质上是软硬件联合设计实现的。举个例子,一个应用功能跑在FPGA上可能就1、2个指令,速度上极快于其跑在软件上,但硬件上处理会导致额外的成本,这些在软件上就不需要。这些成本包括硬件初始化消耗,边缘情况下额外的简单处理,和图像进出可重新配置设备的通信。图像处理应用功能的运行时间随图像大小改变,由于额外的开销在FPGA上处理小图像可以就不那么经济。图像加速器常被设计成多数据通道,能同时处理几个图像像素。为定义这些数据通过可通过如下几个熟知的方法:
l SIMD并行,典型数据通道并行处理N个像素,或对于一些二进制处理器,8xN像素。这中处理方式因为通用CPUs中的多媒体扩展而被熟知。
l 更深层次运算管道,通过1个微指令实现编码和复杂运算处理的执行。
光学和传感器概念
摘要:本章节主要描述图像采集系统中光学系统和sensor的相关内容。光学系统是图像采集系统的初始步骤,由1个或多个镜头组成,目的在于将光线聚集到sensor表面得到聚焦正常的图像。是图像系统中最贵的部分之一。移动式相机上的镜头通常是一个由塑料和玻璃透镜堆叠而成的系统,在单镜头反射相机中,一组玻璃透镜系统用于去除图像伪影。本章节会对透镜进行概述。此外,会介绍一些典型的伪影现象(如,串扰和色差)。Sensor是将光学图像转化成电信号的部分。Sensor有几种不同类型,按技术分(CCD-电荷耦合器件和COMS-互补金属氧化物半导体),按CFA分(Bayer,Foveon,3CCD,全色),按转换功能分(LDR-低动态范围,WDR-宽动态范围和HDR-高动态范围)。
2.1引言
图2.1 黄鸭系统:从真实世界到最终数字图像
图2.1 是经典的”黄鸭”系统,描述了从现实世界,采集系统,数字处理到最后数字压缩图像的过程。第一个单元,镜头部分和其合适系统下工作情况,将在第4章进行详细研究。本章主要致力于图像传感器的内部部件解析。硅sensor,其表层,技术和基本单元:像素(图像单元)。
在接下来的部分会解释sensor系统的概述,不同sensor的技术和实际设备中的彩色模式。