0 前言-camera sensor基础

8位彩色，有256种深度。

16位彩色：65,536种颜色。

24位彩色：每种原色都有256个层次，它们的组合便有256256256种颜色。

32位彩色：除了24位彩色的颜色外，额外的8位是储存重叠图层的图形资料(alpha透明度)。

0.3.3 图像格式

0.3.4 分辨率（Resolution）

0.3.5 曝光(Exposure)

曝光就是图像的明暗程度，照片太暗称为曝光不足，照片太亮称为曝光过度。曝光由光圈、曝光时间、ISO三者共同决定。

光圈：控制进光量。

曝光时间：光到达的时间长度。

ISO：增益，或称为感光度。

0.4 摄像头接口

USB

我们常用的电脑摄像头接口是USB接口，这种摄像头比较常见，需要支持UVC（USB Video Class）协议。

DVP

DVP(Digital Video Port)摄像头数据并口传输协议。

DVP是并口，提供8-bit或10-bit并行传输数据线、HSYNC(Horizontal sync)行同步线、VSYNC(Vertical sync)帧同步线和PCLK(Pixel Clock)时钟同步线。

缺点：接收无需csi2, mipi接收器，硬件设计简单。

缺点：

接线太多，R(0-7), G(8-16), B(17-23)，8位的并口sensor，光数据线就要24根。还要控制线。
抗干扰能力弱，由于不像csi mipi，sublvds协议串行差分信号，数据传入易发生bit反转，出错,因此走线不能太长。
速率低，功耗高，无法使用高分辨率

mipi

MIPI 传输只需要clk lane和data lane. 对比MIPI 接口比 DVP 的接口信号线少，由于是低压差分信号，产生的干扰小，抗干扰能力也强。

举个mipi控制器特点:

• 可同時支持 2 路 sensor 輸入（2组D-PHY， 每组5对差分线（1C4D））
• sensor 0 最大支持 4K2K @60fps HDR or @30fps 線性輸入
• sensor 1 最大支持 3M(2304x1296) @60fps HDR or linear 輸入
• 單路最多支持 4-Lane MIPI D-PHY 接口，最大支持 2.5Gbps/Lane
• 單路最多支持 4-Lane sub-LVDS/ HiSPi 接口，最大支持 1.5Gbps/Lane
• 支持 RAW8/ RAW10/ RAW12 數據類型的解析
• 支持 YUV422 8-bit/ YUV422 10-bit 數據類型的解析
• 最多支持 2 幀 WDR，支持多種 WDR 時序
• 支持 sub-LVDS/ HiSPi 模式像素/同步碼大小端配置
• 支持 Lane 數和 Lane 順序可配置
MIPI Rx 的帶寬有兩部分限制： PHY 的接口數據率和內部處理速度。
輸入接口最大支持 2.5Gbps/Lane，內部處理速度最大為 600M*1pixels/s（MAC clk）。

0.5 mipi-rx软硬件篇介绍

1 ov8856 sensor介绍

1.1 spec

功能：支持帧率控制，flip/mirror功能，裁剪

尺寸性能规格：

最大支持8MP 30fps和720p 90fps

走mipi协议，支持2lane, 4 lane数据传输

控制走i2c协议

10 bit raw RGB数据格式

1.2 框图和引脚描述

1.3 连接soc

1.4 lane id和P/N swap线序

一般硬件设计上，sensor的输出和csi 接受输入的data lane和clk lane一一对应，如果不对应，就需要配置csi controller的lane id和pn swap线序。

1.5 上电时序

v4l-utils-1.28.1 (linuxfromscratch.org)

1.6 初始化序列

soc厂商发邮件给cmos模组厂申请初始化序列（initial Sequence）。比如要配置的的分辨率，mclk，lane线序（1C4D, 1C2D, 1C1D）等等。

1.7 帧率控制

可以通过设置VTS的大小来控制fps，当帧间隔越长，fps越低。

1.8 flip mirror

配置0x3820和0x3821寄存器就能进行水平或者垂直翻转。

1.9 window crop

可以配置上述寄存器控制裁剪的位置和大小。

1.9 曝光增益控制

控制源码见曝光增益控制

2 v4l2-utils套件包

2.0 下载移植

V4l-utils - LinuxTVWiki

v4l-utils工具是由Linux维护的V4L2开发工具包。

它提供了一套用于配置V4L2子设备属性的V4L2和媒体框架相关工具,测试V4L2设备,并提供开发库,如libv4l2等等。

2.1 media-ctl工具

media-ctl是v4l2-utils包中的一个工具，主要用来查看、配置Media Framework的各Entity的信息，如格

式、裁剪、链接使能等,针对/dev/mediaX 。

V4l2-ctl 工具则是针对/dev/video0，/dev/video1 等 video设备，它在 video 设备上进行 set_fmt，

reqbuf(申请buf)，qbuf(送buf回队列)，dqbuf(从队列取出buf)，stream_on，stream_off 等一系列操

作。

在/sys/class/video4linux/下可以找到v4l2相关的设备节点：

# ls sys/class/video4linux
v4l-subdev0 v4l-subdev2 video1 video3 video5 video7
v4l-subdev1 video0 video2 video4 video6 video8
#cat sys/class/video4linux/video0/dev
81:0

2.1.1 查看媒体拓扑结构

media-ctl -d /dev/media0 -p  # 查看媒体拓扑结构

从entity70信息中可以看到：

该Entity名称是：m00_b_ov13850 4-0010

它是一个V4L2 subdev(Sub-Device) Sensor

它对应的节点是/dev/v4l-subdev3，应用程序（如v4l2-ctl）可以打开它，并进行配置

它仅有一个输出（Source）节点，记为pad0

它的输出格式是[fmt:SBGGR10/4224x3136]，其中SBGGR10是一种mbus-code的简称

它的Source pad0 链接到"rockchip-csi2-dphy0"的pad0，并且当前的状态是 ENABLED。

2.1.1.0 rk3568的media 拓扑结构

2.1.2 找到video设备

拓扑结构中有多个的Entity，一些是sub device，一些是video device。根据名字能找到对应的video设备

$ media-ctl -d /dev/media0 -e "rkisp_selfpath"
/dev/video1
$ media-ctl -d /dev/media0 -e "rkisp_mainpath"
/dev/video0

2.13 修改Entity的format、size

media-ctl -d/dev/media0 --set-v4l2' "m00_b_ov13850 4-0010":0[fmt:SBGGR10//640x480]'

修改sensor 格式为SBGGR10，分辨率为640x480.

同时修改后级isp subdev的参数：

$ media-ctl -d/dev/media0 --set-v4l2 ' "rkisp-isp-subdev":0[fmt:SBGGR10/640x480]'
$ media-ctl -d/dev/media0 --set-v4l2 ' "rkisp-isp-subdev":0[crop: (0,0)/640x480]'
$ media-ctl -d/dev/media0 --set-v4l2 ' "rkisp-isp-subdev":2[crop: (0,0)/640x480]'
$ v4l2-ctl -d/dev/video0 --set-selection=target=crop, top=0, left=0, width=640, height=480

2.2 v4l2-ctl工具

v4l2-ctl使用手册

https://www.mankier.com/1/v4l2-ctl

列出所有设备

# v4l2-ctl --list-devices
v4l2-ctl --list-devices
rkisp-statistics (platform: rkisp):
    /dev/video7
    /dev/video8
rkisp_mainpath (platform:rkisp-vir0):
    /dev/video0
    /dev/video1
    /dev/video2
    /dev/video3
    /dev/video4
    /dev/video5

获取指定设备的所有信息

v4l2-ctl --all --device /dev/video0

v4l2-ctl --all --device /dev/video0
Driver Info:
    Driver name : rkisp_v5
    Card type : rkisp_mainpath
    Bus info : platform:rkisp-vir0
    Driver version : 1.8.0
    Capabilities : 0x84201000
        Video Capture Multiplanar
        Streaming
        Extended Pix Format
        Device Capabilities
Device Caps : 0x04201000
    Video Capture Multiplanar
    Streaming
    Extended Pix Format
....

列出支持的格式和分辨率

v4l2-ctl --list-formats-ext --device /dev/video0
v4l2-ctl --list-formats-ext --device /dev/video1

支持的格式如下：

v4l2-ctl --list-formats-ext --device /dev/video0
ioctl: VIDIOC_ENUM_FMT
Index : 0
Type : Video Capture Multiplanar
Pixel Format: 'UYVY'
Name : UYVY 4:2:2
Size: Stepwise 32x16 - 2112x1568 with step 8/8
Index : 1
Type : Video Capture Multiplanar
Pixel Format: '422P'
Name : Planar YUV 4:2:2
Size: Stepwise 32x16 - 2112x1568 with step 8/8
Index : 2
Type : Video Capture Multiplanar
Pixel Format: 'NV16'
Name : Y/CbCr 4:2:2
Size: Stepwise 32x16 - 2112x1568 with step 8/8
Index : 3
Type : Video Capture Multiplanar
Pixel Format: 'NV61'
Name : Y/CrCb 4:2:2
Size: Stepwise 32x16 - 2112x1568 with step 8/8
Index : 4
Type : Video Capture Multiplanar
Pixel Format: 'YM16'
Name : Planar YUV 4:2:2 (N-C)
Size: Stepwise 32x16 - 2112x1568 with step 8/8
Index : 5
Type : Video Capture Multiplanar
Pixel Format: 'NV21'
Name : Y/CrCb 4:2:0
Size: Stepwise 32x16 - 2112x1568 with step 8/8

2.2.1 抓帧

v4l2-ctl -d /dev/video0 --set-fmt-video=width=800,height=600,pixelformat=NV12 --stream-mmap=3 --stream-to=/sdcard/out.yuv --stream-skip=9 --stream-count=1
m-mmap=3 --stream-to=/sdcard/out.yuv --stream-skip=9 --stream-count=1

产看out.yuv,或者用windows yuv工具

ffplay out.yuv -f rawvideo -pixel_format nv12 -video_size 800x600

2.2.2 显示摄像头参数

rk3568_r:/ # v4l2-ctl -d /dev/video0 -l
v4l2-ctl -d /dev/video0 -l

User Controls
		exposure 0x00980911 (int) : min=4 max=3324 step=1 default=1536 value=1536
Image Source Controls
		vertical_blanking 0x009e0901 (int) : 
			min=192 max=29631 step=1 default=192 value=192
		horizontal_blanking 0x009e0902 (int) : 
			min=576 max=576 step=1 default=576 value=576 flags=read-only
		analogue_gain 0x009e0903 (int) : 
			min=16 max=248 step=1 default=16 value=16
		Image Processing Controls link_frequency 0x009f0901 (intmenu): 
			min=0 max=0 default=0
			value=0 flags=read-only
		pixel_rate 0x009f0902 (int64) : 
			min=0 max=120000000 step=1
			default=120000000 value=120000000 flags=read-only
		test_pattern 0x009f0903 (menu) : min=0 max=4 default=0 value=0

2.2.3 set exposure

exposure值区间为: 4-3324

命令实例：

v4l2-ctl -d /dev/video0 --set-ctrl exposure=3324

2.2.4 模拟增益-analogue_gain

analogue_gain值区间：16-248

命令实例：

v4l2-ctl -d /dev/video0 --set-ctrl analogue_gain=240

2.2.5 开启 test_pattern

video0表示sensor, test_pattern等于多少参考sensor datasheet支持多少中pattern

v4l2-ctl -d /dev/video0 --set-ctrl test_pattern=0

3 OV5640 camera驱动分析

由于我手上只有ov5640的datasheet，因此用这颗camera驱动进行分析。camera一般作为/dev/v4l2_subdev和i2c_client设备。

源代码位于：linux_5.10\drivers\media\i2c\ov5640.c

老规矩从入口开始，当dts和驱动中compatible配对后，调用probe.

3.1 ov5640_probe

3.1.1 ov5640_dev

struct ov5640_dev {
	struct i2c_client *i2c_client;
	struct v4l2_subdev sd;
	struct media_pad pad;
	struct v4l2_fwnode_endpoint ep; /* the parsed DT endpoint info */
	struct clk *xclk; /* system clock to OV5640 */
	u32 xclk_freq;

	struct regulator_bulk_data supplies[OV5640_NUM_SUPPLIES];
	struct gpio_desc *reset_gpio;
	struct gpio_desc *pwdn_gpio;
	bool   upside_down;

	/* lock to protect all members below */
	struct mutex lock;
	int power_count;
	struct v4l2_mbus_framefmt fmt;
	bool pending_fmt_change;

	const struct ov5640_mode_info *current_mode;
	const struct ov5640_mode_info *last_mode;
	enum ov5640_frame_rate current_fr;
	struct v4l2_fract frame_interval;

	struct ov5640_ctrls ctrls;

	u32 prev_sysclk, prev_hts;
	u32 ae_low, ae_high, ae_target;
	bool pending_mode_change;
	bool streaming;
};

初始化ov5640_dev结构，填充v4l2_mbus_framefmt,该结构体参考：

4.15.3.4.1. Media Bus Formats — The Linux Kernel documentation

MEDIA_BUS_FMT_UYVY8_2X8格式：

是一种8-bit YUV values downsampled to 4:2:2,yuv422 pack的一种格式，采用uy,uv的编排方式。设置当前模式位30fps OV5640_MODE_VGA_640_480模式。

该模式对应的i2c初始化序列：

3.1.2 dts资源提取

提取dts节点描述：

3.1.2.1 endpoint setting

of_fwnode_handle(pdev->dev.of_node);和dev_fwnode(&client->dev);等价都是把dev转成fwnode_handle

提取endpopint有2个api:
fwnode_graph_get_next_endpoint或者fwnode_graph_get_endpoint_by_id

可以看到这颗sensor驱动适配了3套协议，1.prallel并口， 2. mpi-csi2，3 BT656. 其他协议表示这颗sensor不支持。endpoint的bus_type表示支持的协议类型v4l2_mbus_type:

/**
 * enum v4l2_mbus_type - media bus type
 * @V4L2_MBUS_UNKNOWN:	unknown bus type, no V4L2 mediabus configuration
 * @V4L2_MBUS_PARALLEL:	parallel interface with hsync and vsync
 * @V4L2_MBUS_BT656:	parallel interface with embedded synchronisation, can
 *			also be used for BT.1120
 * @V4L2_MBUS_CSI1:	MIPI CSI-1 serial interface
 * @V4L2_MBUS_CCP2:	CCP2 (Compact Camera Port 2)
 * @V4L2_MBUS_CSI2_DPHY: MIPI CSI-2 serial interface, with D-PHY
 * @V4L2_MBUS_CSI2_CPHY: MIPI CSI-2 serial interface, with C-PHY
 * @V4L2_MBUS_INVALID:	invalid bus type (keep as last)
 */
enum v4l2_mbus_type {
	V4L2_MBUS_UNKNOWN,
	V4L2_MBUS_PARALLEL,
	V4L2_MBUS_BT656,
	V4L2_MBUS_CSI1,
	V4L2_MBUS_CCP2,
	V4L2_MBUS_CSI2_DPHY,
	V4L2_MBUS_CSI2_CPHY,
	V4L2_MBUS_INVALID,
};

获取解析endpoint，然后设置endpoint。

然后dts获取mclk, 复位引脚，power引脚。

3.1.3 v4l2_subdev 异步初始化

最后注册v4l2_sub_dev。调用的函数有：

v4l2_i2c_subdev_init(&sensor->sd, client, &ov5640_subdev_ops);
v4l2_async_register_subdev_sensor_common(&sensor->sd);

3.1.3.1 v4l2_async_register_subdev_sensor_common

调用v4l2_async_subdev_notifier_register注册异步通知器。

v4l2_async_register_subdev注册子设备。

3.1.4 media_entity和media_pad初始化

同时还初始化media_entity和media_pad：

pad.flags设置为：MEDIA_PAD_FL_SOURCE表示pad为source pad表示发送端。还有一种pad是sink pad，表示接收端。

entity.function = MEDIA_ENT_F_CAM_SENSOR;，表示摄像头功能：

然后调用：

media_entity_pads_init(&sensor->sd.entity, 1, &sensor->pad);

3.1.5 regulator 初始化

参考：Linux Regulator Framework(1)_概述 (wowotech.net)

然后获取“电压稳定器”资源。

3.1.5 i2c通信校验chip id

然后获取几个VDD电压：

还要用i2c校验chip_id是否成功,这时需要执行上电时序。i2c通信才能成功，chip_id读出来才等于0x5640：

ov5640_set_power_on函数：

首先开启mclk，设置reset复位时序。设置pwdn_gpio。

power on 上电时序见：