视频监控 ( 1 ) - Camera

1. Camera

1）实物图

2）工作流程

工作流程

1. 物体通过镜头（lens）聚集的光
2. 通过CMOS或CCD集成电路，把光信号转换成电信号
3. 再经过内部图像处理器（ISP）转换成数字图像信号输出到数字信号处理器（DSP）加工处理
4. 转换成标准的RGB、YUV等格式图像信号

2. 主要部件

1）感光部件

• CCD:

• 优点：灵敏度高，噪音小，信噪比大
• 缺点：生产工艺复杂，成本高，功耗高

• CMOS: 优缺点与CCD相反

2）ISP

Image Signal Processor， 即图像信号处理， 主要作用是对前端图像传感器输出的信号做后期处理，依赖于 ISP 才能在不同的光学条件下都能较好的还原现场细节

详细介绍，请参考如下博客

• https://zhuanlan.zhihu.com/p/142349249
• https://zhuanlan.zhihu.com/p/142359825
• https://blog.csdn.net/qq_41076734/article/details/122253185

3）IR Cut

参考blog：https://zhuanlan.zhihu.com/p/40147915

4）硬件接口

①. MIPI：Mobile Industry Processor Interface， 移动产业处理器接口

- CSI2: - Camera Serial Port,;

备注：MIPI的camera接口叫CSI，Display接口角DSI

• 单向传输
• 串口传输, 速率快
• 低压差分信号，抗干扰能力强

- CCI (Camera Control Interface)

双向连接，兼容I2C协议。
该接口主要用来访问camera中的寄存器，以便对其进行配置和控制。
通常使用host的I2C host控制器，而camera则作为I2C slave device。
不同的厂家的camera寄存器布局和字段定义是不同的

其接口定义为：

• PCLK：是像素点同步时钟信号。也就是每个PCLK对应一个像素点。
• VSYNC：是场同步信号。以高电平有效为例，VSYNC置高直到被拉低，这个区段所输出的所有影像数据组成一个frame。
• HSYNC：是行同步信号。就是在告诉接收端：“HSYNC”有效时段内接收端接收到的所有的信号输出属同一行。

- 功能层次定义

• 应用层: 处理原始图像数据的各种算法模块
• 组包/解包层: 负责将数据按照一定的次序,切割成8bit数据
• 应用协议层: 将新生成的数据加上包头包尾,生成符合协议规范的数据流
• 通知管理层: 将数据流按照通道输出需求进行分割和重组
• 物理(PHY)层: 生成最后的MIPI波形，可以支持1到4条差分数据链路，以及一条时钟链路
• 像素数据: 经过图像模块处理过的数据流，或者原始图像的数据流
• 传输数据: 经过组包/解包层切割或者加上包头包尾的数据流
• 控制信号: 模块间的控制数据
• 发送端: 包括了 MIPI 数字部分，转接板等实现MIPI 信源传输的部分
• 接收端: 包括了转接板和商用接收端模块，负责解析收到的 MIPI 信源

- 工作流程

• 原始的图像数据会在应用层做图像处理, 包括白平衡,噪声去除,色彩还原
• 处理过后的数据进入组包和解包层进行数据分割与重组,再传输给协议层根据数据类型产生包头,根据数据内容产生构成包尾的校验序列，
• 之后将包头、数据本身、包尾组合起来发送给通道管理模块,
• 协议层会打包出两种报文结构，一种是短包一种长包，两种报文都有开始和结束标志，中间是有效数据。然后则是LP状态包
• 通道管理层模块按照通道的选通情况,合理分配数据给每一个通道,之后数据经过数模转换进入物理层传输,
• 接收端在接收到物理层的数据之后,按照之前的逆序解包出原始的数据

②. DVP: digital video port, 数字视频接口

并口，速度慢，带宽低

3. 主要参数

1）焦距

可参考：https://zhuanlan.zhihu.com/p/419063227

焦距： 指平行光入射时从透镜光心到光聚集之焦点的距离
镜头焦距的长短决定着拍摄的成像大小、视场角大小、景深大小和画面的透视强弱。

2）视场角 & 景深

• 视场角： 以镜头为顶点，以被测目标的物像可通过镜头的最大范围的两条边缘构成的夹角
• 景深： 指在摄像机镜头能够取得清晰图像的成像所测定的被摄物体前后距离范围

3）像素

• 像素值： 摄像头每次采集的图像的像素点数(Pixels)，例如：1280*720
• 分辨率： 单位长度（横向或纵向，一般两个方式是一样的）内由多少像素点组成来表示，长度常用英寸（inch）,分辨率单位常写成ppi
• PPI： Pixes Per Inch，每英寸的像素点个数，如72ppi，代表每英寸上72个像素点

Notice: 1inch = 2.54cm

附加

• 电脑中存储的相片究竟是多长，或者多高，是没有太大意义的，你可以在电脑图像处理的软件中任意设置；
• 当然，如果超过来原始横向和纵向的像素数，图片存储容量就会变大，虽然像素多了，但是也不会变得更清楚，这只是软件通过插值算法增加了像素
• 像素指的是摄像头的分辨率，像素越大，意味着光敏元件越多，相应的成本就越大

4. 色彩空间

参考Blog： https://zhuanlan.zhihu.com/p/67930839

1）RGB

2）YUV

3）HSV

附录

1）小知识

• 1 inch = 25.4mm
• 人类肉眼的分辨率为：0.1mm
• 当分辨率大于100，人眼已经无法分辨点阵了
• 平常所说的图片大小，都是寸(英寸)，默认为 4:3，比如5寸(5inch * 3.75inch)

2）傅里叶变换

参考Blog：https://www.zhihu.com/question/19714540