TDA4与Openvx技术开发示例

TDA4与Openvx技术开发示例
[TI TDA4 J721E]基于TDA4平台 FFmpeg / X264 的ARM平台移植
创建了开源的Demo演示案例库，后续会把Demo代码放到这个Gitee库里：
 
TDA4/TI TDA4
https://gitee.com/tda4/ti-tda4
        欢迎大家加入，一起维护这个开源库，给更多的朋友提供帮助。
 
由于需要使用TDA4完成一个推流的工作，在查找各种资料以后，决定移植ffmpeg，进行rtmp的推流工作。下面开始演示移植过程：
 
一、下载源码
1、X264源码（总览：http://download.videolan.org/pub/videolan/x264/snapshots/）
 
博主使用源码版本：
 
http://download.videolan.org/pub/videolan/x264/snapshots/x264-snapshot-20191217-2245.tar.bz2
 
2、ffmpeg源码（总览：Index of /releases）
 
博主使用源码版本：http://ffmpeg.org/releases/ffmpeg-4.4.1.tar.bz2
 
二、准备工作
将两个文件拷贝到TDA4的开发板上，使用开发板本身的gcc编译器进行编译，可以省去使用交叉编译链进行编译的步骤，比较方便！（实际上是移植了很久，没搞定，编译总是报错，无奈……）
 
在开发板/home/root/ 目录下新建一个文件夹，命名为ffmpeg
进入ffmpeg文件夹，通过scp将两个下载好的文件拷贝到开发板上来。
（开发板可以联网，关于联网，请查看这篇博客！
 
[TI TDA4 J721E]开发板网络调试功能及开机自动配置网络_AIRKernel的博客-CSDN博客）
 
mkdir ~/ffmpeg
cd ~/ffmpeg
scp ubuntu@192.168.1.100:/home/ubuntu/x264-snapshot-20191217-2245.tar.bz2 ffmpeg-4.4.1.tar.bz2 ~ffmpeg
两个文件要放在同一个目录下进行解压！！！
因为ffmpeg配置的时候，需要使用到x264生成的库（路径！）
 
解压两个源码
 
tar -vxf x264-snapshot-20191217-2245.tar.bz2
tar -vxf ffmpeg-4.4.1.tar.bz2
三、x264配置、编译和安装
进入x264的源码文件夹，分别执行以下命令
 
cd ./x264-snapshot-20191217-2245
./configure --host=arm-linux-gnueabihf --prefix=$PWD/tmp --enable-shared --disable-asm
make -j16 && make install
四、ffmpeg配置、编译和安装
注意！！
编译ffmpeg之前，需要将系统时间设置为当前的时间时间，因为编译会使用到系统时间。
时间格式：月、日、年 时、分、秒
例：date -s "11/20/2021 10:15:05"
 
进入ffmpeg的源码文件夹，分别执行以下指令
 
最后一个编译的过程时间很久，请耐心等待！不要着急！
 
cd ./ffmpeg-4.4.1
 
./configure --enable-shared --enable-pic --disable-static --enable-gpl --enable-nonfree --enable-pthreads --enable-ffmpeg --disable-ffplay --enable-swscale --disable-armv5te --disable-armv6 --disable-armv6t2 --disable-stripping --enable-libx264 --extra-cflags=-I$PWD/../x264-snapshot-20191217-2245/tmp/include --extra-ldflags=-L$PWD/../x264-snapshot-20191217-2245/tmp/lib
 
make -j16 && make install
这一步时间很长……很长……（可能有40分钟左右吧！！）
 
五、示例
1、流推送：(将RTSP流推送到RTMP服务器)
 
ffmpeg -i "rtsp://admin:12345678@192.168.8.154:554/stream2" -an -c:v copy -f flv rtmp://192.168.1.1:554/mystream
2、RTSP流保存成.avi（RTSP流来自局域网内部网络摄像头）
 
ffmpeg -i rtsp://admin:12345678@192.168.8.154:554/stream2 -vcodec copy /home/root/myout.avi
3、USB摄像头流获取并保存成.avi：
 
ffmpeg -f video4linux2 -s 640x480 -i /dev/video1 /home/root/test.avi
4、使用ffmpeg RTMP推流USB摄像头
 
测试成功推流的指令代码：（注意设备名，我这里是video1）
 
ffmpeg -f v4l2 -framerate 25 -video_size 640x480 -i /dev/video1 -f flv -y rtmp://myserver.cn/MINILIVE/mystream
PS：我在实际测试阿里云给的指令的时候出错了，不知道大家能不能成功。
 
Linux下用FFMPEG采集usb摄像头到RTMP-阿里云开发者社区
 
ffmpeg -f video4linux2 -qscale 10 -r 12 -s 640x480 -i /dev/video1 -f alsa -i hw:1 -ab 16 -ar 22050 -ac 1 -f mp3 -f flv rtmp://127.0.0.1/rtmpsvr/rtmp1
测试结束。
                       
原文链接：https://blog.csdn.net/AIRKernel/article/details/121483611
参考文献链接
[TI TDA4 J721E](升级版)单屏显示多路摄像头数据(img_mosaic_module节点使用)
此篇教程的完整资源在这里下载
 
TITDA4单屏多路显示Demo完整资源ImgMosaic节点的使用教程-C/C++文档类资源-CSDN下载
 
前几天写了一个关于单屏多显示的帖子：
 
[TI TDA4]TIOVX 单屏显示多路摄像头数据(Mosaic节点使用)_AIRKernel的博客-CSDN博客
 
        当时只是研究了其中的一个Demo，这个Demo里面的图像显示还是有点问题，应该是当时作者算法的问题，我也没有详细研究。
 
        这两天重新梳理了以下，发现有一个Node是专门做这个图像镶嵌的工作的，img_mosaic节点。这个imgMosaic Node的主要作用目前看来就是将图像进行镶嵌到一张大图上，进行显示。比如将多个图像区域，内嵌到一个1920*1080尺寸的image上，然后显示出来。（个人理解，如有不同或者错误，欢迎大家指正一下）。
 
        这篇博客就写一下这个节点的移植和实际应用。
 
首先看一下效果图：
 
这里可以设置屏幕显示2个~多个，应该是可以随意分屏的。这个大家可以去试一下，我这里分了9个。另外，我这里只有一个YUV摄像头，如果有多个，大家可以将多个图像替换进去就可以显示不同的图像了，这个替换比较简单，看到代码就应该明白了。
 
一、基于Demo的移植
（基于ti-processor-sdk-rtos-j721e-evm-08_00_00_12下的app_usb_disp_templete）
 
app_usb_disp_templete下载地址如下：
 
TDA4开发板USB摄像头显示NV12图像完整资源-C/C++文档类资源-CSDN下载
 
这个Node的相关操作文件，是从
 
ti-processor-sdk-rtos-j721e-evm-08_00_00_12/vision_apps/apps/dl_demos/app_tidl_avp2路径里面拷贝过来的。
 
1、拷贝一份app_usb_disp_templete，命名为app_usb_disp。
 
2、将两个文件：avp_img_mosaic_module.c avp_img_mosaic_module.h，拷贝到app_usb_disp下。（请忽略encode这两个文件，暂时用不到，还有点问题没有解决，后面会专门处理这个问题）。
 
3、修改concerto.mak内容
 
这里有四个地方需要修改 添加参与编译的源文件、添加头文件路径、添加库路径
 
A、        修改TARGET ，这里可以根据自己的需要进行命名。如：vx_app_usb_disp
B、        CSOURCES += app_img_mosaic_module.c
C、        IDIRS += $(IMAGING_IDIRS)
D、        STATIC_LIBS += $(IMAGING_LIBS)
如图，左边是修改过的，右边是修改前的。大家对照以下（忽略encode相关）
 
 4、main.c中添加头文件
#include "app_img_mosaic_module.h"
在AppObj中添加一个img的对象：ImgMosaicObj imgMosaicObj;
在AppObj中添加一个 graph，用于执行Mosaic节点。
 
5、 分别在app_init / app_create_graph / app_verify_graph / app_run_graph_for_one_frame 中添加关于imgMosaic相关的内容。
app_init中对imgMosaic节点进行初始化操作/添加注册图像处理的kernel。
app_create_graph 中创建 graph。
app_verify_graph  中对 graph进行检查。
app_run_graph_for_one_frame 中执行graph。
分别如下图（对应的函数都在刚刚拷贝的两个文件中）：
 
 
 
 
 
 
本工程的工作总体流程是（具体大家还是跟着代码走读一下）：
 
A、创建了两个Graph，一个用于执行imgMosaic，一个用于执行Display。
 
B、imgMosaic节点的输入是9个NV12格式的图像组成的array（用户数组），输出是一个1920*1080的image。
 
C、display节点的输入是imgMosaic节点的输出图像。
 
D、首先usb摄像头先工作，生成YUV图像，在内存中以指针形式传递出去。
 
E、将usb摄像头生成的YUV数据，复制到imgMosaic节点的输入数组中。
 
F、执行imgMosaic节点，将输入的数组，生成一个输出的显示图像。
 
G、将输出的显示图像，传递给display节点，然后执行disp_graph，显示出图像。
 
D-G 的过程，每一次都会执行一次，将数组更新，然后显示也会更新。
 
添加完上述这些东西以后，基本上就可以正常编译核运行了。
 
其中有一个函数是我后来添加的：app_running_imgMosaic，位于app_img_mosaic_module.c内，这个函数用于拷贝摄像头生成的数据，到imgMosaic节点的用户数组内。大家可以通过修改这个函数的传入指针，将不同摄像头的数据传入即可得到想要的数据。
 
//动态更新imgMosaic节点内的输入数组的内容
//目前此函数仅支持NV12格式数据的拷贝，大家可以根据自己需要改一下，比如可以拷贝BMP图像的RGB数据等等
vx_status app_running_imgMosaic(vx_object_array *array, char *image)
{
    vx_status status = VX_SUCCESS;
 
    if (status == VX_SUCCESS)
    {
        status = vxGetStatus((vx_reference)(*array));       //查看array状态，如果为空则表示错误
        vx_size arrLen;
        vxQueryObjectArray((*array), VX_OBJECT_ARRAY_NUMITEMS, &arrLen, sizeof(vx_size)); //查询数组内元素的个数
 
        vx_int32 i;
 
        for (i = 0; i < arrLen; i++)        //将数据拷贝到数组中
        {
            vx_rectangle_t rect;
            vx_imagepatch_addressing_t image_addr;
            vx_map_id map_id;
            void *data_ptr;
            vx_uint32 img_width;
            vx_uint32 img_height;
            vx_image in_img;
 
            in_img = (vx_image)vxGetObjectArrayItem((*array), i);                       //获取array内对象的属性，这里是设置为图像格式
 
            vxQueryImage(in_img, VX_IMAGE_WIDTH, &img_width, sizeof(vx_uint32));        //查询图像宽度
            vxQueryImage(in_img, VX_IMAGE_HEIGHT, &img_height, sizeof(vx_uint32));      //查询图像的高度
 
            rect.start_x = 0;
            rect.start_y = 0;
            rect.end_x = img_width;
            rect.end_y = img_height;
            status = vxMapImagePatch(in_img,            //向内核申请图像访问的指针地址，用于拷贝用户数据到vx内核空间
                                     &rect,
                                     0,
                                     &map_id,
                                     &image_addr,
                                     &data_ptr,
                                     VX_WRITE_ONLY,
                                     VX_MEMORY_TYPE_HOST,
                                     VX_NOGAP_X);
 
            memcpy(data_ptr, image, img_width * img_height);    //拷贝数据
 
            vxUnmapImagePatch(in_img, map_id);                  //释放map_id
 
            rect.start_x = 0;
            rect.start_y = 0;
            rect.end_x = img_width;
            rect.end_y = img_height / 2;
            status = vxMapImagePatch(in_img, //向内核申请图像访问的指针地址，用于拷贝用户数据到vx内核空间
                                     &rect,
                                     1,
                                     &map_id,
                                     &image_addr,
                                     &data_ptr,
                                     VX_WRITE_ONLY,
                                     VX_MEMORY_TYPE_HOST,
                                     VX_NOGAP_X);
 
            memcpy(data_ptr, image + img_width * img_height, img_width * img_height / 2); //拷贝数据,这里需要注意拷贝源地址的偏移量
 
            vxUnmapImagePatch(in_img, map_id); //释放map_id
 
            vxReleaseImage(&in_img);//释放临时图像
        }
    }
    return status;
}
 
我会将完整工程放过来，资源上传审核需要时间，链接如下：
 
TITDA4单屏多路显示Demo完整资源ImgMosaic节点的使用教程-C/C++文档类资源-CSDN下载
 
 PS：这个不是广告，我自己在用的笔记软件。给大家推荐一款比较实用的在线云笔记 Notion（免费），下载链接如下：
 
NotionForUbuntu.tar.xz-管理软件文档类资源-CSDN下载
    
                       
https://blog.csdn.net/AIRKernel/article/details/125731020
参考文献链接
https://blog.csdn.net/AIRKernel/article/details/121210285
posted @ 2024-07-01 11:21  吴建明wujianming  阅读(23)  评论(0)  编辑  收藏  举报