TDA4与Openvx技术开发示例
TDA4与Openvx技术开发示例
[TI TDA4 J721E]基于TDA4平台 FFmpeg / X264 的ARM平台移植
创建了开源的Demo演示案例库,后续会把Demo代码放到这个Gitee库里:
TDA4/TI TDA4
https://gitee.com/tda4/ti-tda4
欢迎大家加入,一起维护这个开源库,给更多的朋友提供帮助。
由于需要使用TDA4完成一个推流的工作,在查找各种资料以后,决定移植ffmpeg,进行rtmp的推流工作。下面开始演示移植过程:
一、下载源码
1、X264源码(总览:http://download.videolan.org/pub/videolan/x264/snapshots/)
博主使用源码版本:
http://download.videolan.org/pub/videolan/x264/snapshots/x264-snapshot-20191217-2245.tar.bz2
2、ffmpeg源码(总览:Index of /releases)
博主使用源码版本:http://ffmpeg.org/releases/ffmpeg-4.4.1.tar.bz2
二、准备工作
将两个文件拷贝到TDA4的开发板上,使用开发板本身的gcc编译器进行编译,可以省去使用交叉编译链进行编译的步骤,比较方便!(实际上是移植了很久,没搞定,编译总是报错,无奈……)
在开发板/home/root/ 目录下新建一个文件夹,命名为ffmpeg
进入ffmpeg文件夹,通过scp将两个下载好的文件拷贝到开发板上来。
(开发板可以联网,关于联网,请查看这篇博客!
[TI TDA4 J721E]开发板网络调试功能及开机自动配置网络_AIRKernel的博客-CSDN博客)
mkdir ~/ffmpeg
cd ~/ffmpeg
scp ubuntu@192.168.1.100:/home/ubuntu/x264-snapshot-20191217-2245.tar.bz2 ffmpeg-4.4.1.tar.bz2 ~ffmpeg
两个文件要放在同一个目录下进行解压!!!
因为ffmpeg配置的时候,需要使用到x264生成的库(路径!)
解压两个源码
tar -vxf x264-snapshot-20191217-2245.tar.bz2
tar -vxf ffmpeg-4.4.1.tar.bz2
三、x264配置、编译和安装
进入x264的源码文件夹,分别执行以下命令
cd ./x264-snapshot-20191217-2245
./configure --host=arm-linux-gnueabihf --prefix=$PWD/tmp --enable-shared --disable-asm
make -j16 && make install
四、ffmpeg配置、编译和安装
注意!!
编译ffmpeg之前,需要将系统时间设置为当前的时间时间,因为编译会使用到系统时间。
时间格式:月、日、年 时、分、秒
例:date -s "11/20/2021 10:15:05"
进入ffmpeg的源码文件夹,分别执行以下指令
最后一个编译的过程时间很久,请耐心等待!不要着急!
cd ./ffmpeg-4.4.1
./configure --enable-shared --enable-pic --disable-static --enable-gpl --enable-nonfree --enable-pthreads --enable-ffmpeg --disable-ffplay --enable-swscale --disable-armv5te --disable-armv6 --disable-armv6t2 --disable-stripping --enable-libx264 --extra-cflags=-I$PWD/../x264-snapshot-20191217-2245/tmp/include --extra-ldflags=-L$PWD/../x264-snapshot-20191217-2245/tmp/lib
make -j16 && make install
这一步时间很长……很长……(可能有40分钟左右吧!!)
五、示例
1、流推送:(将RTSP流推送到RTMP服务器)
ffmpeg -i "rtsp://admin:12345678@192.168.8.154:554/stream2" -an -c:v copy -f flv rtmp://192.168.1.1:554/mystream
2、RTSP流保存成.avi(RTSP流来自局域网内部网络摄像头)
ffmpeg -i rtsp://admin:12345678@192.168.8.154:554/stream2 -vcodec copy /home/root/myout.avi
3、USB摄像头流获取并保存成.avi:
ffmpeg -f video4linux2 -s 640x480 -i /dev/video1 /home/root/test.avi
4、使用ffmpeg RTMP推流USB摄像头
测试成功推流的指令代码:(注意设备名,我这里是video1)
ffmpeg -f v4l2 -framerate 25 -video_size 640x480 -i /dev/video1 -f flv -y rtmp://myserver.cn/MINILIVE/mystream
PS:我在实际测试阿里云给的指令的时候出错了,不知道大家能不能成功。
Linux下用FFMPEG采集usb摄像头到RTMP-阿里云开发者社区
ffmpeg -f video4linux2 -qscale 10 -r 12 -s 640x480 -i /dev/video1 -f alsa -i hw:1 -ab 16 -ar 22050 -ac 1 -f mp3 -f flv rtmp://127.0.0.1/rtmpsvr/rtmp1
测试结束。
原文链接:https://blog.csdn.net/AIRKernel/article/details/121483611
参考文献链接
[TI TDA4 J721E](升级版)单屏显示多路摄像头数据(img_mosaic_module节点使用)
此篇教程的完整资源在这里下载
TITDA4单屏多路显示Demo完整资源ImgMosaic节点的使用教程-C/C++文档类资源-CSDN下载
前几天写了一个关于单屏多显示的帖子:
[TI TDA4]TIOVX 单屏显示多路摄像头数据(Mosaic节点使用)_AIRKernel的博客-CSDN博客
当时只是研究了其中的一个Demo,这个Demo里面的图像显示还是有点问题,应该是当时作者算法的问题,我也没有详细研究。
这两天重新梳理了以下,发现有一个Node是专门做这个图像镶嵌的工作的,img_mosaic节点。这个imgMosaic Node的主要作用目前看来就是将图像进行镶嵌到一张大图上,进行显示。比如将多个图像区域,内嵌到一个1920*1080尺寸的image上,然后显示出来。(个人理解,如有不同或者错误,欢迎大家指正一下)。
这篇博客就写一下这个节点的移植和实际应用。
首先看一下效果图:
![](https://img2024.cnblogs.com/blog/1251718/202407/1251718-20240701111829756-416364157.png)
这里可以设置屏幕显示2个~多个,应该是可以随意分屏的。这个大家可以去试一下,我这里分了9个。另外,我这里只有一个YUV摄像头,如果有多个,大家可以将多个图像替换进去就可以显示不同的图像了,这个替换比较简单,看到代码就应该明白了。
一、基于Demo的移植
(基于ti-processor-sdk-rtos-j721e-evm-08_00_00_12下的app_usb_disp_templete)
app_usb_disp_templete下载地址如下:
TDA4开发板USB摄像头显示NV12图像完整资源-C/C++文档类资源-CSDN下载
这个Node的相关操作文件,是从
ti-processor-sdk-rtos-j721e-evm-08_00_00_12/vision_apps/apps/dl_demos/app_tidl_avp2路径里面拷贝过来的。
1、拷贝一份app_usb_disp_templete,命名为app_usb_disp。
2、将两个文件:avp_img_mosaic_module.c avp_img_mosaic_module.h,拷贝到app_usb_disp下。(请忽略encode这两个文件,暂时用不到,还有点问题没有解决,后面会专门处理这个问题)。
![](https://img2024.cnblogs.com/blog/1251718/202407/1251718-20240701111829499-1734094983.png)
3、修改concerto.mak内容
这里有四个地方需要修改 添加参与编译的源文件、添加头文件路径、添加库路径
A、 修改TARGET ,这里可以根据自己的需要进行命名。如:vx_app_usb_disp
B、 CSOURCES += app_img_mosaic_module.c
C、 IDIRS += $(IMAGING_IDIRS)
D、 STATIC_LIBS += $(IMAGING_LIBS)
如图,左边是修改过的,右边是修改前的。大家对照以下(忽略encode相关)
![](https://img2024.cnblogs.com/blog/1251718/202407/1251718-20240701111829519-1647834909.png)
4、main.c中添加头文件
#include "app_img_mosaic_module.h"
在AppObj中添加一个img的对象:ImgMosaicObj imgMosaicObj;
在AppObj中添加一个 graph,用于执行Mosaic节点。
![](https://img2024.cnblogs.com/blog/1251718/202407/1251718-20240701111829536-1302523536.png)
5、 分别在app_init / app_create_graph / app_verify_graph / app_run_graph_for_one_frame 中添加关于imgMosaic相关的内容。
app_init中对imgMosaic节点进行初始化操作/添加注册图像处理的kernel。
app_create_graph 中创建 graph。
app_verify_graph 中对 graph进行检查。
app_run_graph_for_one_frame 中执行graph。
分别如下图(对应的函数都在刚刚拷贝的两个文件中):
![](https://img2024.cnblogs.com/blog/1251718/202407/1251718-20240701111829519-912230452.png)
![](https://img2024.cnblogs.com/blog/1251718/202407/1251718-20240701111829534-93373558.png)
![](https://img2024.cnblogs.com/blog/1251718/202407/1251718-20240701111829502-2090436864.png)
![](https://img2024.cnblogs.com/blog/1251718/202407/1251718-20240701111829509-693493946.png)
![](https://img2024.cnblogs.com/blog/1251718/202407/1251718-20240701111829509-693493946.png)
本工程的工作总体流程是(具体大家还是跟着代码走读一下):
A、创建了两个Graph,一个用于执行imgMosaic,一个用于执行Display。
B、imgMosaic节点的输入是9个NV12格式的图像组成的array(用户数组),输出是一个1920*1080的image。
C、display节点的输入是imgMosaic节点的输出图像。
D、首先usb摄像头先工作,生成YUV图像,在内存中以指针形式传递出去。
E、将usb摄像头生成的YUV数据,复制到imgMosaic节点的输入数组中。
F、执行imgMosaic节点,将输入的数组,生成一个输出的显示图像。
G、将输出的显示图像,传递给display节点,然后执行disp_graph,显示出图像。
D-G 的过程,每一次都会执行一次,将数组更新,然后显示也会更新。
添加完上述这些东西以后,基本上就可以正常编译核运行了。
其中有一个函数是我后来添加的:app_running_imgMosaic,位于app_img_mosaic_module.c内,这个函数用于拷贝摄像头生成的数据,到imgMosaic节点的用户数组内。大家可以通过修改这个函数的传入指针,将不同摄像头的数据传入即可得到想要的数据。
//动态更新imgMosaic节点内的输入数组的内容
//目前此函数仅支持NV12格式数据的拷贝,大家可以根据自己需要改一下,比如可以拷贝BMP图像的RGB数据等等
vx_status app_running_imgMosaic(vx_object_array *array, char *image)
{
vx_status status = VX_SUCCESS;
if (status == VX_SUCCESS)
{
status = vxGetStatus((vx_reference)(*array)); //查看array状态,如果为空则表示错误
vx_size arrLen;
vxQueryObjectArray((*array), VX_OBJECT_ARRAY_NUMITEMS, &arrLen, sizeof(vx_size)); //查询数组内元素的个数
vx_int32 i;
for (i = 0; i < arrLen; i++) //将数据拷贝到数组中
{
vx_rectangle_t rect;
vx_imagepatch_addressing_t image_addr;
vx_map_id map_id;
void *data_ptr;
vx_uint32 img_width;
vx_uint32 img_height;
vx_image in_img;
in_img = (vx_image)vxGetObjectArrayItem((*array), i); //获取array内对象的属性,这里是设置为图像格式
vxQueryImage(in_img, VX_IMAGE_WIDTH, &img_width, sizeof(vx_uint32)); //查询图像宽度
vxQueryImage(in_img, VX_IMAGE_HEIGHT, &img_height, sizeof(vx_uint32)); //查询图像的高度
rect.start_x = 0;
rect.start_y = 0;
rect.end_x = img_width;
rect.end_y = img_height;
status = vxMapImagePatch(in_img, //向内核申请图像访问的指针地址,用于拷贝用户数据到vx内核空间
&rect,
0,
&map_id,
&image_addr,
&data_ptr,
VX_WRITE_ONLY,
VX_MEMORY_TYPE_HOST,
VX_NOGAP_X);
memcpy(data_ptr, image, img_width * img_height); //拷贝数据
vxUnmapImagePatch(in_img, map_id); //释放map_id
rect.start_x = 0;
rect.start_y = 0;
rect.end_x = img_width;
rect.end_y = img_height / 2;
status = vxMapImagePatch(in_img, //向内核申请图像访问的指针地址,用于拷贝用户数据到vx内核空间
&rect,
1,
&map_id,
&image_addr,
&data_ptr,
VX_WRITE_ONLY,
VX_MEMORY_TYPE_HOST,
VX_NOGAP_X);
memcpy(data_ptr, image + img_width * img_height, img_width * img_height / 2); //拷贝数据,这里需要注意拷贝源地址的偏移量
vxUnmapImagePatch(in_img, map_id); //释放map_id
vxReleaseImage(&in_img);//释放临时图像
}
}
return status;
}
我会将完整工程放过来,资源上传审核需要时间,链接如下:
TITDA4单屏多路显示Demo完整资源ImgMosaic节点的使用教程-C/C++文档类资源-CSDN下载
PS:这个不是广告,我自己在用的笔记软件。给大家推荐一款比较实用的在线云笔记 Notion(免费),下载链接如下:
NotionForUbuntu.tar.xz-管理软件文档类资源-CSDN下载
https://blog.csdn.net/AIRKernel/article/details/125731020
参考文献链接
https://blog.csdn.net/AIRKernel/article/details/121210285
人工智能芯片与自动驾驶