第11章 摄像头基础知识

第十一章 摄像头基础知识

1. 图像传感器

图像传感器是摄像头的核心组件，负责将光信号转换为电信号，这样电子设备才能处理和存储这些信息。可以将其比喻为开发板的“眼睛”。目前常见的图像传感器类型有CCD和CMOS。庐山派开发板使用的GC2093摄像头是CMOS类型的传感器，相比OV5647的显示效果提升很大，而且目前OV5647都停产了，只有二手的芯片。

CMOS和CCD传感器的成像特点和使用场景对比表：

特点	CMOS传感器	CCD传感器
信噪比和图像质量	- 现代CMOS噪声已大幅降低，图像质量接近甚至超越CCD - 早期噪声较大，但技术进步已改善	- 高信噪比，图像质量高 - 低噪声表现优秀，适合弱光环境下的高质量成像
功耗和集成度	- 低功耗，适合电池供电设备 - 高集成度，可在芯片上集成图像处理电路和ADC，简化设计	- 高功耗，需要高电压驱动 - 低集成度，需外部电路支持，如模拟数字转换器（ADC）
数据读取速度	- 读取速度快，支持高帧率和全局快门 - 可随机访问像素，适合高速成像	- 读取速度较慢，电荷逐行转移 - 帧率和高速成像能力受限
制造成本	- 利用标准CMOS工艺制造，成本较低 - 成本较低便于大规模生产	- 制造工艺复杂，生产成本较高 - 价格相对昂贵
适用场景	- 消费电子产品：智能手机、平板电脑、数码相机等 - 安防监控：监控摄像头、行车记录仪等 - 汽车电子：倒车影像、驾驶辅助系统等 - 物联网和嵌入式系统：机器人、无人机等	- 专业摄影设备：高端数码相机、电影摄像机 - 科学研究：天文学、医学成像等 - 工业检测：精密测量、质量控制等
优点	- 低功耗- 高集成度 - 成本低- 读取速度快，支持高帧率	- 高图像质量- 低噪声，弱光性能优异 - 高信噪比
缺点	- 早期噪声较大（目前已大幅改善） - 在极端弱光条件下可能不及CCD	- 高功耗- 成本高 - 读取速度慢，帧率受限
技术发展趋势	- 技术不断进步，背照式和堆栈式CMOS提升了性能 - 全局快门技术改善了图像失真问题	- 技术成熟，但市场份额逐渐被CMOS取代 - 主要应用在特定高端领域
选择建议	- 适合对成本、功耗和尺寸敏感的应用 - 需要高速成像和高集成度的设备	- 适合追求极高图像质量的专业领域 - 弱光环境下的高性能成像需求

2. 分辨率和帧率

• 分辨率：简单来说，分辨率就是图像的清晰度。它表示为图像的宽度和高度的像素数，例如1920x1080。这意味着图像有1920个像素的宽度和1080个像素的高度，我家里以及在公司使用的显示屏也就这个分辨率，就是平常所说的1080P屏幕。像素数越高，图像就越清晰，能展示的细节就越多。
• 帧率（FPS）：帧率表示每秒钟摄像头可以捕捉并传输的图像数量。帧率越高，视频就越流畅。比如，电影通常是24fps，打游戏的话一般都得144Hz以上。我们的GC2093摄像头支持最高60fps的帧率，能提供非常流畅的图像，至少在嵌入式领域算是比较高的帧率了，毕竟嵌入式会落后计算机20年嘛。

3. 焦距和视场角

• 焦距（EFL）：焦距决定了摄像头能看到的范围，就像是人眼的视野。焦距越短，摄像头能看到的范围就越广，但看到的物体会显得较小。焦距越长，摄像头能看到的范围就越窄，但可以看得更远、更清楚。
• 视场角（View Angle）：视场角是用角度来表示摄像头能看到的范围，包括：
  • 对角线视角（D）：从图像的一个角到对角线另一端的视角。
  • 水平视角（H）：摄像头水平方向能看到的范围。
  • 垂直视角（V）：摄像头垂直方向能看到的范围。

4. 像素格式

像素格式是指图像数据的存储方式，它描述了每个像素如何表示颜色或亮度信息。选择合适的像素格式不仅影响图像的质量，还直接影响存储空间、数据传输速度和处理效率。

4.1 像素格式的分析

RGB565​

• 定义：每个像素用16位表示，RGB通道分别分配5位、6位和5位。
  • 红色 (R)：5位，32级灰度。
  • 绿色 (G)：6位，64级灰度（由于人眼对绿色更敏感，绿色多分配了一位）。
  • 蓝色 (B)：5位，32级灰度。
• 特点：
  • 数据量较小，仅16位（2字节）每像素。
  • 支持基本的颜色表现，但颜色精度较低。
• 应用场景：
  • 低功耗嵌入式设备，如手持设备、工业屏幕显示。
  • 对图像质量要求不高但注重内存占用的场景。

RGB888​

• 定义：每个像素用24位表示，RGB通道分别分配8位（即每种颜色256级灰度）。
  • 红色 (R)：8位。
  • 绿色 (G)：8位。
  • 蓝色 (B)：8位。
• 特点：
  • 高颜色精度，适合高质量图像显示。
  • 数据量较大，每像素3字节。
• 应用场景：
  • 高分辨率图像处理。
  • 用于显示要求高的场合，如智能手机屏幕、高清显示器。

RGBP888​

• 定义：也叫分离的24位RGB格式，R、G、B通道数据分别存储在独立的内存区域中。
  • 第一个内存块存储所有像素的R通道值。
  • 第二个内存块存储所有像素的G通道值。
  • 第三个内存块存储所有像素的B通道值。
• 特点：
  • 更适合某些图像处理算法（如颜色分离、特征提取）。
  • 数据访问更高效，但存储方式较复杂。
• 应用场景：
  • 用于图像算法开发，如深度学习中的特征提取。
  • 专业图像处理器的内部数据格式。

YUV420SP​

• 定义：一种半平面 YUV 格式，主要用于视频压缩和处理。
  • Y：表示亮度（Luminance）。
  • U、V：表示色度（Chrominance），分别存储蓝色和红色的差异。
  • 420：表示UV分量的分辨率为Y的1/4。
  • 半平面：Y存储在一块连续内存中，UV分量交替存储在另一块连续内存中。
• 特点：
  • 数据量小，压缩比高。
  • 亮度和色度分开，便于色彩调整。
• 应用场景：
  • 视频流处理和压缩，如H.264、H.265视频编码。
  • 用于需要节省存储和带宽的实时视频传输场景。

GRAYSCALE​

• 定义：灰度图，只有亮度信息，每像素用8位表示（256级灰度）。
  • 无颜色信息，只有从黑到白的亮度变化。
• 特点：
  • 数据量小，仅1字节每像素。
  • 不包含色彩信息，但对亮度变化敏感。
• 应用场景：
  • 图像识别和机器视觉，如边缘检测、特征提取。
  • 黑白图像存储和处理。

4.2 优缺点对比

像素格式	每像素数据量	优点	缺点	典型应用
RGB565	2字节	数据量小，适合低功耗设备	颜色精度低	嵌入式显示屏、工业显示
RGB888	3字节	颜色精度高，适合高清显示	数据量大，占用更多内存	高清显示器、手机屏幕
RGBP888	3字节	更高效的通道访问	存储和处理较复杂	深度学习、专业图像处理
YUV420SP	1.5字节	压缩比高，适合视频传输	色彩精度不如RGB	视频流处理、实时视频传输
GRAYSCALE	1字节	数据量小，专注亮度处理	无颜色信息	机器视觉、图像识别

5. 镜像和翻转

在实际应用中，摄像头可能会因为安装方向的不同，导致拍摄的图像是倒置的或者是镜像的。为了让图像呈现正确的方向，我们就需要对图像进行镜像或翻转处理：

• 水平镜像（H-Mirror）：将图像左右颠倒，就像看镜子里的自己。
• 垂直翻转（V-Flip）：将图像上下颠倒，使上方的物体显示在下方。

通过镜像和翻转，就可以确保图像以正确的方向显示，方便观看和处理。

6. 曝光和白平衡

• 曝光：曝光控制着传感器接收光线的时间，直接影响图像的亮度。曝光时间越长，传感器接收到的光线就越多，图像就会越亮；曝光时间越短，图像就会变暗。在光线不足的环境下，可以增加曝光时间来提高亮度。
• 白平衡：白平衡用于调整图像的色彩，使其看起来更加自然。不同的光源（如日光、白炽灯、荧光灯）会有不同的色温，影响图像的颜色表现。通过调整白平衡，可以纠正颜色偏差，使白色看起来真正是白色，从而使整个图像的颜色更加准确。