(七) UVC框架分析
UVC框架分析
源码的位置在drivers\media\video\uvc,查看下Makefile,我们可以从入口uvc_driver.c中分析
uvcvideo-objs := uvc_driver.o uvc_queue.o uvc_v4l2.o uvc_video.o uvc_ctrl.o \
uvc_status.o uvc_isight.o uvc_debugfs.o
ifeq ($(CONFIG_MEDIA_CONTROLLER),y)
uvcvideo-objs += uvc_entity.o
endif
obj-$(CONFIG_USB_VIDEO_CLASS) += uvcvideo.o
入口函数
module_init(uvc_init);
>usb_register(&uvc_driver.driver)
struct uvc_driver uvc_driver = {
.driver = {
.name = "uvcvideo",
.probe = uvc_probe,
.disconnect = uvc_disconnect,
.suspend = uvc_suspend,
.resume = uvc_resume,
.reset_resume = uvc_reset_resume,
.id_table = uvc_ids,
.supports_autosuspend = 1,
},
};
这里的id_table表示能够支持哪些设备,probe表示匹配到之后执行probe函数
uvc_probe
uvc_register_chains
uvc_register_terms
uvc_register_video
uvc_video_init
// 这里就是以前vivi中讲的 设置
video_device_alloc
vdev->v4l2_dev = &dev->vdev;
vdev->fops = &uvc_fops;
vdev->release = uvc_release;
strlcpy(vdev->name, dev->name, sizeof vdev->name);
//注册
video_register_device(vdev, VFL_TYPE_GRABBER, -1);
文件ops
const struct v4l2_file_operations uvc_fops = {
.owner = THIS_MODULE,
.open = uvc_v4l2_open,
.release = uvc_v4l2_release,
.unlocked_ioctl = uvc_v4l2_ioctl,
.read = uvc_v4l2_read,
.mmap = uvc_v4l2_mmap,
.poll = uvc_v4l2_poll,
};
UVC规格书一览
搜索下uvc Specification,链接在此,主要是USB_Video_Example 1.5.pdf和UVC 1.5 Class specification.pdf
先来看下USB_Video_Example 中的图
再来看下规格书的基本描述,参考链接,这个unit实际上就是一个个内部的功能模块,terminal是用于连接内外的功能模块.
Unit
Unit提供了基础模块来全面描述大部分的视频功能,一个Unit可以由一个或多个输入引脚和仅一个输出引脚(这里的每一个pin代表一个逻辑上的数据流) ,Unit可以通过pin引脚连接在一起,一个输出pin可以连接多个输入pin,但一个输入pin只能连接一个输出pin
Select Unit
这个就是多路选择unit
Processing Unit
处理Unit (PU)控制流经它的视频流图像属性。
User Controls
- Brightness
- Hue
- Saturation
- Sharpness
- Gamma
- Digital Multiplier (Zoom)
Auto Controls
- White Balance Temperature
- White Balance Component
- Backlight Compensation
- Contrast
- Other
Gain
- Power Line Frequency
- Analog Video Standard
- Analog Video Lock Status
Terminal
链接内外的功能模块,一个输入和一个输出
- Input Terminal
- Out Terminal
- Camera Terminal 控制端点.有些设备可能没有
- Scanning Mode扫描模式
- Auto-Exposure Mode自动曝光模式
- Auto-Exposure Priority自动曝光优先级
- Exposure Time 曝光时间
- Focus聚焦
- Auto-Focus自动聚焦
- Simple Focus简单聚焦
- Iris红外
- Zoom放大
- Pan摇动
- Roll滚动
- Tilt倾斜
- Digital Windowing数字窗口
总的来说就是一个摄像头,一定会有起码1个的VS视频流接口,但不一定有vs控制接口.通过VideoControl Interface来控制，通过VideoStreaming Interface来读视频数据，VC里含有多个Unit/Terminal等功能模块，可以通过访问这些模块进行控制，比如调亮度
APP使用UVC驱动过程
uvc_register_chains
uvc_register_terms
uvc_register_video
uvc_video_init
// 这里就是以前vivi中讲的 设置
video_device_alloc
vdev->v4l2_dev = &dev->vdev;
vdev->fops = &uvc_fops;
vdev->release = uvc_release;
strlcpy(vdev->name, dev->name, sizeof vdev->name);
//注册
video_register_device(vdev, VFL_TYPE_GRABBER, -1);
APP调用过程
open
uvc_v4l2_open
unlocked_ioctl
uvc_v4l2_ioctl
uvc_v4l2_do_ioctl
case VIDIOC_QUERYCAP:
.....
VIDIOC_QUERYCAP
//通过 stream->type 来设置,这个type 应该是在设备枚举时设置
if (stream->type == V4L2_BUF_TYPE_VIDEO_CAPTURE)
cap->capabilities = V4L2_CAP_VIDEO_CAPTURE
| V4L2_CAP_STREAMING;
else
cap->capabilities = V4L2_CAP_VIDEO_OUTPUT
| V4L2_CAP_STREAMING;
VIDIOC_ENUM_FMT
//通过 stream->format
format = &stream->format[fmt->index];
VIDIOC_G_FMT
// USB摄像头支持多种格式fromat, 每种格式下有多种frame(比如分辨率)
uvc_v4l2_get_format(stream, arg)
format = stream->cur_format;
frame = stream->cur_frame;
fmt->fmt.pix.pixelformat = format->fcc;
fmt->fmt.pix.width = frame->wWidth;
fmt->fmt.pix.height = frame->wHeight;
VIDIOC_TRY_FMT
uvc_v4l2_try_format(stream, arg, &probe, NULL, NULL)
/* Check if the hardware supports the requested format. */
// 根据 stream中的format 来比较
format = &stream->format[i]
if(format->fcc == fmt->fmt.pix.pixelformat)
/* Find the closest image size */
//找到最接近的图像大小
VIDIOC_S_FMT
uvc_v4l2_set_format(stream, arg)
// 只是尝试把参数保存,并没有发起usb传输
uvc_v4l2_try_format(stream, fmt, &probe, &format, &frame)
VIDIOC_REQBUFS
uvc_alloc_buffers(&stream->queue, arg);
vb2_reqbufs(&queue->queue, rb);
VIDIOC_QUERYBUF
//查询buf
uvc_query_buffer
vb2_querybuf
__fill_v4l2_buffer
mmap
uvc_v4l2_mmap
uvc_queue_mmap
vb2_mmap
VIDIOC_QBUF
uvc_queue_buffer
vb2_qbuf
VIDIOC_STREAMON
uvc_video_enable // 把所设置的参数发给硬件,然后启动摄像头
uvc_queue_enable
vb2_streamon
q->streaming = 1;
/* Commit the streaming parameters. */
ret = uvc_commit_video(stream, &stream->ctrl);
uvc_set_video_ctrl /* 设置格式fromat, frame */
__uvc_query_ctrl
usb_control_msg //usb传输
//启动urb传输
uvc_init_video
uvc_video_stats_start(stream);
uvc_init_video_isoc
// 分配 设置 urb
uvc_alloc_urb_buffers
usb_fill_bulk_urb
urb->complete = uvc_video_complete; // usb传输完成的函数,这里应该会去唤醒uvc驱动
/* Submit the URBs. */
usb_submit_urb
urb传输完成函数.这里会有wakeup
uvc_video_complete
stream->decode(urb, stream, buf); //此函数搜索下
stream->decode = uvc_video_decode_isight;
stream->decode = uvc_video_decode_isoc;
uvc_queue_next_buffer
vb2_buffer_done
wake_up(&q->done_wq);
poll
uvc_v4l2_poll
uvc_queue_poll
vb2_poll
poll_wait(file, &q->done_wq, wait);
//这里会接着判断状态
if (vb && (vb->state == VB2_BUF_STATE_DONE
|| vb->state == VB2_BUF_STATE_ERROR)) {
return (V4L2_TYPE_IS_OUTPUT(q->type)) ? POLLOUT | POLLWRNORM :
POLLIN | POLLRDNORM;
VIDIOC_DQBUF
uvc_dequeue_buffer
vb2_dqbuf
list_del(&vb->queued_entry);
VIDIOC_STREAMOFF
uvc_video_enable(video, 0);
uvc_uninit_video
usb_kill_urb(urb);
usb_free_urb(urb);
分析设置亮度过程：
ioctl: VIDIOC_S_CTRL
uvc_ctrl_set
uvc_ctrl_commit
__uvc_ctrl_commit(video, 0);
uvc_ctrl_commit_entity(video->dev, entity, rollback);
ret = uvc_query_ctrl(dev /* 哪一个USB设备 */, SET_CUR, ctrl->entity->id /* 哪一个unit/terminal */,
dev->intfnum /* 哪一个接口: VC interface */, ctrl->info->selector,
uvc_ctrl_data(ctrl, UVC_CTRL_DATA_CURRENT),
ctrl->info->size);
小结
1. UVC设备有2个interface: VideoControl Interface, VideoStreaming Interface
2. VideoControl Interface用于控制，比如设置亮度。它内部有多个Unit/Terminal(在程序里Unit/Terminal都称为entity)
可以通过类似的函数来访问：
ret = uvc_query_ctrl(dev /* 哪一个USB设备 */, SET_CUR, ctrl->entity->id /* 哪一个unit/terminal */,
dev->intfnum /* 哪一个接口: VC interface */, ctrl->info->selector,
uvc_ctrl_data(ctrl, UVC_CTRL_DATA_CURRENT),
ctrl->info->size);
3. VideoStreaming Interface用于获得视频数据，也可以用来选择fromat/frame(VS可能有多种format, 一个format支持多种frame， frame用来表示分辨率等信 息)
可以通过类似的函数来访问：
ret = __uvc_query_ctrl(video->dev /* 哪一个USB设备 */, SET_CUR, 0,
video->streaming->intfnum /* 哪一个接口: VS */,
probe ? VS_PROBE_CONTROL : VS_COMMIT_CONTROL, data, size,
uvc_timeout_param);
4. 我们在设置FORMAT时只是简单的使用video->streaming->format[fmt->index]等数据，
这些数据哪来的？
应是设备被枚举时设置的，也就是分析它的描述符时设置的。
5. UVC驱动的重点在于：
描述符的分析
属性的控制: 通过VideoControl Interface来设置
格式的选择：通过VideoStreaming Interface来设置
数据的获得：通过VideoStreaming Interface的URB来获得
