Camera原理与事件相机分析
Camera原理与事件相机分析
Camera基础知识
1. Camera简介
摄像头，大家已经非常熟悉了，遍布在生活的方方面面。
尤其这上段时间炒的非常火的南京医生上门打小孩老人事件，
由于有视频有真相，鲁医生直接被陷入万劫不复的境地。
其中的是非对错本文不讨论了，法律和道德自有评判。
但这说明了，摄像头对我们的日常生活影响实在太大了。
2. 摄像头分类
根据不同参数，摄像头有多种分类方式：
传输信号 模拟摄像机和数字摄像机画面分辨率 标清摄像机、高清摄像机
摄像机外形 球形摄像机、半球形摄像机、枪式摄像机
安装环境 室内摄像机、室外摄像机
传感器 CCD摄像机、CMOS摄像机
监控常用的摄像头外观：
3. 摄像头组成
一个常见的监控用的摄像头包括：外壳、感光芯片电路、镜头座、镜头、红外灯板。
而对于手机上的摄像头，很多厂家往往是设计为一个摄像头模组(CameraCompact Module)，简称CCM。
CCM 包含四大件： 镜头(lens)、传感器（sensor）、软板（FPC）、图像处理芯片（DSP）。
决定一个摄像头好坏的重要部件是：镜头（lens）、图像处理芯片 （DSP）、传感器（sensor）。
4. 摄像头原理
然后转为电信号，经过A/D（模数转换）转换后变为数字图像信号
再送到数字信号处理芯片（DSP）中加工处理，转换成标准的RGB、YUV等格式图像信号
再通过I/O接口传输到CPU中处理，通过display就可以看到图像了
5. 摄像头相关技术指标
5.0 常见缩略语
|
名称
|
含义 |
|
3A算法 |
AEC, AWB, AF算法 |
|
AEC |
Auto Exposure Control, 自动曝光控制 |
|
AWB |
Auto White Balance, 自动白平衡 |
|
AF |
Auto Focus, 自动对焦 |
|
TE |
Time Exposure, 曝光时间 |
|
FBC |
Frame Buffer Compressed, 帧缓冲压缩 |
|
IQ |
Image Quality, 图像质量 |
5.1. 图像压缩方式JPEG
(joint photographic expert group)静态图像压缩方式。一种有损图像的压缩方式。压缩比越大，图像质量也就越差。 当图像精度要求不高存储空间有限时，可以选择这种格式。目前大部分数码相机都使用JPEG格式。
5.2. 图像噪音
指的是图像中的杂点干扰，表现为图像中有固定的彩色杂点。
5.3. 白平衡处理技术(AWB)
白平衡指不管在任何光源下，都能将白色物体还原为白色。
白平衡是描述显示器或相机中红、绿、蓝三基色混合生成后白色精确度的一项指标。
色温表示光谱成份，光的颜色。色温低表示长波光成分多。当色温改变时，光源中三基色（红、绿、蓝）的比例会发生变化，需要调节三基色的比例来达到彩色的平衡，这就是白平衡调节的实际。
图象传感器的图象数据被读取后，系统将对其进行针对镜头的边缘畸变的运算修正，然后经过坏像处理后被系统送进去进行白平衡处理（在不同的环境光照下，人类的眼睛可以把一些“白”色的物体都看成白色，是因为人眼进行了修正。但是SENSOR没有这种功能，因此需要对SENSOR输出的信号进行一定的修正，这就是白平衡处理技术）。
5.4. 彩色深度（色彩位数）
反映对色彩的识别能力和成像的色彩表现能力，就是用多少位的二进制数字来记录三种原色。实际就是A/D转换器的量化精度，是指将信号分成多少个等级，常用色彩位数（bit）表示。彩色深度越高，获得的影像色彩就越艳丽动人。
非专业的SENSOR一般是24位；专业型SENSOR至少是36位。24位的SENSOR，感光单元能记录的光亮度值最多有2^8=256级，每一种原色用一个8位的二进制数字来记录，最多记录的色彩是256×256×256约16，77万种。
36位的SENSOR，感光单元能记录的光亮度值最多有2^12=4096级，每一种原色用一个12位的二进制数字来记录，最多记录的色彩是4096×4096×4096约68.7亿种。
5.5. 图像格式(image Format/ Color space)
像素格式，比如: RGB24，RGB565，RGB444，YUV4:2:2等。 RGB24,I420是目前最常用的两种图像格式。
RGB24 表示R、G、B ，3种基色都用8个二进制位表示，那么红色、绿色、蓝色各有256种，那么由这三种基色构成的颜色就是256X256X256=16,777,216种，约等于1677万。这就是计算机表示颜色的原理，同样也是手机屏幕和显示器屏幕等显示颜色的原理。
颜色对应RGB值 
YUV YUV 和我们熟知的 RGB 类似，是一种颜色编码格式。 YUV 包含三个分量，其中 Y 表示明亮度（Luminance 或 Luma），也就是灰度值。 而 U 和 V 则表示色度（Chrominance 或 Chroma），作用是描述图像色彩及饱和度，用于指定像素的颜色。 没有 UV 分量信息，一样可以显示完整的图像，只不过是黑白的灰度图像。 YUV的采样方式
4:4:4表示完全取样（每一个Y对应一组UV分量)4:2:2表示2:1的水平取样，垂直完全采样(每两个Y共用一组UV分量)
4:2:0表示2:1的水平取样，垂直2：1采样(每四个Y共用一组UV分量)
4:1:1表示4:1的水平取样，垂直完全采样(每四个Y共用一组UV分量)
存储方式举例：
YUV 4:2:0其颜色的一种存放格式如图所示：
5.6. 分辨率（Resolution）
所谓分辨率就是指画面的解析度，由多少象素构成的数值越大，图像也就越清晰。
分辨率不仅与显示尺寸有关，还会受到显像管点距、视频带宽等因素的影响。
我们通常所看到的分辨率都以乘法形式表现的，比如1024*768，其中的1024表示屏幕上水平方向显示的点数，768表示垂直方向的点数。
|
解析度
|
分辨率 乘法 |
像素值 |
像素值简称 |
|
QSIF/QQVGA |
160 x 120 |
19200 |
|
|
QCIF |
176 x 144 |
25344 |
|
|
SIF/QVGA |
320 x 240 |
76800 |
|
|
CIF |
352 x 288 |
101376 |
10万像素 |
|
VGA |
640 x 480 |
307200 |
30万像素(35万是指648X488) |
|
SVGA |
800 x 600 |
480000 |
|
|
XGA |
1024 x 768 |
786438 |
80万像素 |
|
SXGA |
1280 x 1024 |
1310720 |
130万像素 |
|
UXGA |
1600 x 1200 |
1920000 |
200万像素 |
|
QXGA |
2048 x 1536 |
3145728 |
300万像素(320W) |
|
QSXGA |
2592 x 1944 |
5038848 |
500万像素 |
|
2816 x 2112 |
2947392 |
600万像素 |
|
|
3072 x 2304 |
7077888 |
700万像素 |
|
|
3200 x 2400 |
7680000 |
770万像素 |
|
|
3264 x 2448 |
7990272 |
800万像素 |
|
|
3876 x 2584 |
10015584 |
1000万像素 |
5.7. 帧率
帧率指的就是1秒钟时间里传输、显示图片的帧数，每一帧就是一个画面，快速连续的多帧就形成了运动的动态效果。
高的帧率可以得到更加流畅，更加逼真的画面。
5.8. 码流
码流就是指视频数据在单位时间内的数量大小，也叫码率，是视频编码画面质量控制中最重要的部分，同样的分辨率和帧率下，视频码流越大，画面质量越高，对应的存储容量也就越大。
5.9. 曝光
曝光就是图像的明暗程度 ，照片太暗称为曝光不足 ，照片太亮称为曝光过度。曝光由光圈、曝光时间、ISO三者共同决定。
光圈： 控制进光量。曝光时间： 光到达的时间长度。
ISO： 增益，或称为感光度。
6. 摄像头接口
摄像头常用接口包括：USB、DVP、MIPI
USB
我们常用的电脑摄像头接口是USB接口，这种摄像头比较常见，需要支持UVC（USB Video Class）协议。
DVP
还有一部分的摄像头（比如说某些支持DVP接口的硬件）是DVP(Digital Video Port)摄像头数据并口传输协议，
DVP是并口，提供8-bit或10-bit并行传输数据线、HSYNC(Horizontal sync)行同步线、VSYNC(Vertical sync)帧同步线和PCLK(Pixel Clock)时钟同步线。
DVP总线PCLK极限约在96M左右，而且走线长度不能过长，所有DVP最大速率最好控制在72M以下，PCB layout较容易画
以OV3640摄像头为例： DVP分为三个部分：
输出总线输入总线
电源总线
mipi（CSI）
移动产业处理器接口(Mobile Industry Processorinterface，MIPI)
常见的智能手机上的摄像头是MIPI接口，
CSI是相机串行接口（CMOS Sensor Interface）的简称。
MIPI总线速率lvds接口耦合，走线必须差分等长，并且需要保护，故对PCB走线以及阻抗控制要求高一点（一般来讲差分阻抗要求在85欧姆~125欧姆之间）
MIPI是LVDS低压差分串口，只需要要CLKP/N、DATAP/N——最大支持4-lane，一般2-lane即可。
MIPI接口比DVP的接口信号线少，由于是低压差分信号，产生的干扰小，抗干扰能力也强。
DVP接口在信号完整性方面受限制，速率也受限制。
500W还可以勉强用DVP，800W及以上都采用MIPI接口。
所以高清摄像头我们都选用MIPI接口 。
7. 手机摄像头模组出货量排行榜
最后看一下摄像头模组今年7月出货量排行榜：
8. 监控公司
摄像头最主要的应用市场就是安防监控，
目前国内监控市场前10的公司如下：
随着美丽国的制裁，像海康这样大厂市场营收几乎腰斩。
衷心祝愿咱们的高端芯片产业链早日完善，成熟，
事件相机的原理与应用简介
一．概述
事件相机（Event-based camera）是一种受生物启发的新型视觉传感器，有时也称动态视觉传感器（DVS，dynamic vision sensor）或DAVIS（Dynamic and Active-Pixel Vision Sensor）。相比于以固定帧率采集图像的标准相机，它具有低延迟、高动态范围、低功耗、高时间分辨率等特点。图1展示了事件相机和标准相机的数据采集过程，从中可看出，当物体运动时，标准相机受到采样频率的影响会丢失部分数据，而事件相机采集的数据则相对更加完整。另外，当目标物体与相机具有相对运动时，受到曝光时间等因素的影响，用标准相机获得的图像极易产生运动模糊，而用事件相机获得的数据则没有这个问题。下面，我将从工作原理、常见的应用场景和数据处理范式出发，对事件相机做一个简要介绍。
图1. 事件相机与标准相机输出数据对比[1]
二．事件相机的工作原理
事件相机可以简单理解为一种“仅感知运动物体”的传感器。在事件相机的每个像素处都有一个独立的光电传感模块，当该像素处的亮度变化超过设定阈值时，就会生成、输出事件数据（有时也称脉冲数据）。另外，由于所有的像素都是独立工作的，所以事件相机的数据输出是异步的，在空间上呈现稀疏的特点。这也是事件相机与标准相机的最大不同之处，也是事件相机的核心创新。这种成像范式的好处是可以大大减少冗余数据，从而提高后处理算法的计算效率。传感器的工作原理通常基于一个特定的数学模型，下面我们介绍一下事件相机的数学模型。为了方便介绍，我们首先定义一些名词和变量。设定亮度为；事件相机中的亮度定义为实际亮度的对数值，即。那么，时刻在像素处的亮度增益记为其中，表示微小时间间隔。当亮度变化超过设定的阈值时，那么就会触发事件，该过程表示为其中，表示设定亮度变化阈值，通常情况下，的值设置为亮度的10%~50%；表示事件的极性，若亮度增强，则表示发生正事件，否则，表示发生负事件。最终，触发的事件数据表示为。图2展示了事件触发的效果。其中，左图表示时间内在各像素处生成的离散数据点，蓝色的点表示正事件，红色的点表示负事件；右图是将时间内的全部事件，按像素位置堆叠在一起，放到一张图像上的效果。从右图中可以看出，事件都发生在物体的边缘。这主要是因为，当物体运动时（或相机运动时），物体的边缘与背景有更大的亮度变化。
图2. 事件相机工作原理[2]
三．常见应用场景及处理范式
事件相机可以完成一些基于帧的标准相机无法完成的任务，比如高速运动估计，高动态范围建图等等。除此之外，它还被研究用于一些传统的视觉任务，如特征检测与跟踪、光流估计、3D重建和姿态估计等。
为了充分开发事件相机的性能，研究人员也开始思考能从事件数据中提取更多有效信息的方法。目前，常见的事件数据表征方法包括独立事件、事件包、事件帧、体素栅格、3D点集等。这些事件表征方法可以被应用在事件处理系统中的各个部分，包含前处理，核心处理和后处理。
事件数据的主流处理方法可以分为两类，分别是event-by-event的方法和group of events的方法[3]。前者可以理解为逐个事件的处理方法。这类方法常见于各种用于降低事件噪声、提取特征和图像重建的滤波器中。它们通过对比当前事件与过去事件完成系统状态的更新。
另外，现在也有许多数据驱动的方法在使用逐个事件处理的方法，包括采用监督学习和无监督学习方法来训练分类器。基于group of events的处理方法可以理解为累积时间内的数据进行处理。由于单个事件携带的信息十分有限，这种累积事件群的处理方法极大地降低了噪声的干扰，提升了算法的可靠性。这种处理方法主要使用的数据表征方法包括事件帧，体栅格和3D点集。在基于模型的方法中，往往将事件数据累积为事件帧，然后利用基于图像的处理方法来解决问题。另外还有一种基于数据驱动的方法，它们直接将整个事件包输入神经网络，目前该类方法已经广泛应用于分类、光流估计、深度估计等任务中，并且取得了不错的效果。
四. 小结
本文简要地介绍了事件相机的工作原理与常见应用，同时也对事件数据的表征方式和处理方法做了说明。最后，请欣赏事件相机镜头下的杭城飘雪，感受一下不一样的景色。
参考资料
参考文献链接
https://mp.weixin.qq.com/s/Br7hCzPnAP1kloRG_00--g
https://mp.weixin.qq.com/s/6njS9l_k458kIt7uP8UN8w
