37、mipg-streamer的使用讲解

讲解mjpg-streamer

其功能:

1、控制摄像头采集数据(通过ioctl采集数据,所有不支持CMOS,CMOS之前写驱动的时候是通过read,所有需要修改mjpg-streamer的源码或者CMOS驱动);

2、把采集的数据传输到路由器上或者无线网卡上;

 

我们的JZ2440可以接一个usb-hub,上面接上无线网卡和摄像头,可以一起使用

 

1. 如何将mjpg-streamer移植到开发板上

文件系统:fs_mini_mdev_new_auto_wifi_ap.tar.bz2

(1) libjpeg 的移植
tar xzvf libjpeg-turbo-1.2.1.tar.gz
cd libjpeg-turbo-1.2.1
mkdir tmp
./configure --prefix=/work/jz2440/libjpeg-turbo-1.2.1/tmp --host=arm-linux
make
make install
cp /work/jz2440/libjpeg-turbo-1.2.1/tmp/lib/*so* /work/nfs_root/fs_mini_mdev_new/lib/ -d

 

(2) mjpg-streamer 的移植:
tar xvf mjpg-streamer-r63.tar.gz
cd mjpg-streamer-r63

修改所有的Makefile
--(1) 将 CC=gcc 修改为 CC=arm-linux-gcc
--(2) 修改plugins/input_uvc/Makfile
a. 将
CFLAGS += -O2 -DLINUX -D_GNU_SOURCE -Wall -shared -fPIC
改为
CFLAGS += -O2 -DLINUX -D_GNU_SOURCE -Wall -shared -fPIC -I /work/jz2440/libjpeg-turbo-1.2.1/tmp/include
注意:
-I /work/jz2440/libjpeg-turbo-1.2.1/tmp/include // 是编译libjpeg 生成的文件

b. 将
input_uvc.so: $(OTHER_HEADERS) input_uvc.c v4l2uvc.lo jpeg_utils.lo dynctrl.lo
      $(CC) $(CFLAGS) -ljpeg -o $@ input_uvc.c v4l2uvc.lo
jpeg_utils.lo dynctrl.lo
改为
input_uvc.so: $(OTHER_HEADERS) input_uvc.c v4l2uvc.lo jpeg_utils.lo dynctrl.lo
        $(CC) $(CFLAGS) -ljpeg -L /work/jz2440/libjpeg-turbo-1.2.1/tmp/lib -o
          $@ input_uvc.c v4l2uvc.lo jpeg_utils.lo dynctrl.lo

make
cp mjpg_streamer /work/nfs_root/fs_mini_mdev_new/bin/
cp *so* /work/nfs_root/fs_mini_mdev_new/lib/ -d

 运行指令:

二合一摄像头(-i表示输入渠道,-o表示输出渠道)
mjpg_streamer -i "input_uvc.so -f 10 -r 320*240" -o "output_http.so -w www"

一般摄像头
mjpg_streamer -i "input_uvc.so -f 10 -r 320*240 -y" -o "output_http.so -w www"(-y表示压缩图片成jpeg格式,方便传输)

 

2.分析源码

摄像头数据地址buf、源地址input 、目的地址output,都保存在Mipg_streamer.h这个头文件中的_globals结构体中

编译mjpg-streamer生成的so库中input开头的表示各个输入渠道,out开头的用于表示各个输出渠道

通过-i和-o指定输入和输出渠道后,每个input和output表示一个结构体:这个结构体有init函数、open函数、cmd函数、stop函数

举例:当执行mjpg_streamer -i "input_uvc.so -f 10 -r 320*240" -o "output_http.so -w www"指令时,对应的输入源代码参考input._uvc.c文件,里面有各个函数:

input_init

  init_videoIn(videoIn,dev,width,height,fps,format)//设置图像长、宽、帧率、格式

    设置vdIn结构体

    init_v4l2//里面就是v4l2应用程序的框架

      open()//打开摄像头的设备节点,根据传入的参数或者默认参数决定

      ioctl(VIDIOC_QUERYCAP)//查看打开的设备的属性,下面会判断是否是视频捕获设备

      ioctl(VIDIOC_S_FMT)//设置摄像头的输出格式(分辨率、输出格式)

      ioctl(VIDIOC_S_PARM)//设置摄像头的参数,比如输出帧率

      ioctl(VIDIOC_REQBUFS)//申请缓存

      for(缓存个数)  

        ioctl(VIDIOC_QUERYBUF)//获取内核空间的视频缓冲区的信息

        mmap()//根据获得的信息做映射操作

      for(缓存个数)

        ioctl(VIDIOC_QBUF)//将一个空的缓冲区放入视频缓冲区队列

    分配临时缓冲区(vd->framebuffer)用来接收摄像头数据,MJPEG需要分配两个,见代码

   if(dynctrls)//动态控制摄像头功能初始化

    initDynCtrls 

  input_cmd()//通过命令行动态控制摄像头参数,比如高级摄像头的焦距控制

input_run

  分配一段buf用来存储视频数据(仓库)

  pthread_create(cam_thread)//创建线程,线程函数是cam_thread

    cam_thread

      while(!pglobal->stop)//stop会在按下CTRL+C的时候会被置1

        uvcGrab//获得一帧数据

          video_enable//使能视频捕获设备

            ioctl(VIDIOC_STREANMON)//将一个空的缓冲区放入视频缓冲区队列 

          ioctl(VIDIOC_DQBUF)//从视频缓冲区队列取出一个已经存有一帧视频数据的缓冲区buf

          根据获得的信息处理数据及根据视频格式把数据复制到init阶段创建的vd->framebuffer中去,MJPEG格式稍微有点不同,其是放到tempbuffer中

           ioctl(VIDIOC_QBUF)//把这个已获得数据的空的缓冲区放入视频缓冲区队列

          

        判断数据的格式是YUV或者jpeg,如果是jpeg这直接放入globl里面的buf(仓库),否则将YUV转换为jpeg后在保存在buf

         pthread_cond_broadcase(&pglobal->db_update)//通知输出通道可以去数据发出了

对于output_http.so,就是使用sock编程还模拟http协议,查看源码,其中init函数做socket的初始化,run函数从buf中取出数据,然后发送数据

(见output_http.c)

output_init()

  仅解析指令参数,然后给相应的变量赋值

output_run()

  pthread_create(server_thread)//创建线程,线程函数是server_thread

    server_thread

      socket(PF_INET,SOCK_STREAM,0)//创建一个socket(其是作为服务器)    

      setsockopt()//当端口被其他进程使用时,通过这个函数里面指定的参数可以设置重复使用同一个IP和端口号

      bind()//绑定端口和IP地址

      listen()//启动检测数据,第二个参数表示最多客户端数量

      while((!pglobal->stop))//同input_run里面的分析

        分配一个cfd结构体

        accept()//休眠等待客户端连接,并建立连接

        pthread_create(client_thread)//创建线程,线程函数是client_thread

             client_thread//参数是上面设置的cfd结构体

            init_iobuffer(&iobuf)//初始化一个iobuf,在后面仅是一个临时缓存

            init_request(&req)//http协议,需要客户端给服务器发送一个请求,而request就是用来保存请求的

            _readline()//从客户端接受一些数据,用来表示客户端发来的请求,才知道给客户发什么数据

                  这个函数里面调用select函数,当客户端发来数据或者超时的时候返回去调用read函

                  数从客户端获得数据并保存在iobuf中,接着从iobuf中将数据拷贝到buffer中(这个过程

                  并不是简单的复制,可以查看代码分析)

                  因此客户端必须发送一个请求字符串,以换行符作为结束,比如当使用浏览器输入URL

                  的时候http://192.168.1.17:8080/?action=stream(action=stream这个就表示请求)

            从buffer中提取请求并保存在request中

··           do

             _readline() 再次读取一次客户端发送过来的字符串

             处理buffer中的数据并保存,比如如果有用户名,则保存到req.client;有密码保存到req.credential

            如果服务器有账户和密码,则比较客户端传入的账户密码是否匹配

            根据第一次客户端发来的请求做不同动作

            case A_SNAPSHOT(拍照请求)

              send_snapshot(发送照片)

                pthread_cond_wait(等待input通道通知有数据可取了)

                分配一帧缓冲区,并从global->buf(仓库)中取出数据保存

                构造一个http数据头在buffer数据,并将这个数据发送出去(这个数据头表示请求)

                如果上一步成功,就把一帧图片发送出去

            case A_STREAM

              send_stream 

                构造一个http数据头在buffer数据,并将这个数据发送出去(这个数据头表示请求)

                while(!pglobal->stop)

                  pthread_cond_wait(等待input通道通知有数据可取了)

                  如果帧framer空间不够就分配空间,并从global->buf(仓库)中取出数据保存

                  构造一个http数据头(报文)在buffer数据,并将这个数据发送出去(这个数据头表示请求,里面有下面发送帧图片数据大小)

                  如果上一步成功,就把一帧图片发送出去

                  接着发送一个“boundarydonotcross”字符串,表示一帧数据已接受完

                

input_init();
output_init();
input_run();
output_run();


3.自己写客服端(在“在LCD上显示摄像头”的7th_pc上修改程序)

(1).发送一个请求字符串
"GET /?action=snapshot\n"
"GET /?action=stream\n"
"GET /?action=command\n"

(2).再发送一次字符串
如果我们不使用登录密码功能!则只需发送任意长度为小于2字节的字符串,就会跳过处理账户和密码的代码比如:
"f\n"

如果发送的请求是:"GET /?action=snapshot\n"

(3).需要接收一次字符串(是服务器发过来的报文)

(4).接收一帧图片

如果发送的请求是:"GET /?action=stream\n"

(3).需要接收一次字符串(是服务器发过来的报文)

while(1)
{
(4).再接收一次报文,解析它,得到一帧图片的大小(size)

(5).接收size个字节的数据
}

 

1、在ubuntu上连接2440上无线网卡的wifi热点

2、按住ctrl+Alt+F1进入文本模式,输入用户名和密码

3、运行客户端程序( ./应用程序 开发板IP地址)

4、ctrl+Alt+F4

 

启动内核:
set ipaddr 192.168.7.122 && set serverip 192.168.7.111 && tftp 0x30000000 uImage
set bootargs root=/dev/nfs nfsroot=192.168.7.202:/work/nfs_root/fs_mini_mdev_new ip=192.168.7.17 console=ttySAC0,115200 && bootm 0x30000000

 

 

posted on 2018-04-29 17:58  拉风摊主  阅读(1029)  评论(0编辑  收藏  举报

导航