QT | 聊聊QT与直播流播放——从QMediaPlayer到Qt-AV
[原创文章,转载请注明来源,方便查看本文更新]
这段时间需要用QT开发一个播放直播流的功能,能够播放各种格式的直播流,并且CPU占用率不要太高(可以占用GPU),这些是我们的目标。
直播流推流的技术进展在上一篇博客中已经提到了,目前我的能力范围内只能推送RTMP格式的链接,所以需要播放端能够解析这种格式的链接。
下面是一张自己做的图,对QT可调用的几种播放方面的开源库进行对比:
Stage1:QT原生播放方式:QT QMediaPlayer
这种方式有两个优点:
- 无需额外的库,直接可以使用且实现方式简单,已经有大量的例子
- CPU占用率低,主要使用GPU
缺点:
- 支持的视频格式少,跟具体运行在哪个操作系统上有关。在Windows上需要安装LAVFilter等解码器才能支持很多的播放格式
- 无法打开非HTTP格式开头的直播流链接
代码示例:
1 QWidget wi; 2 QMediaPlayer* player = new QMediaPlayer(0, QMediaPlayer::VideoSurface); 3 QVideoWidget* vw = new QVideoWidget; 4 QVBoxLayout* lay = new QVBoxLayout; 5 lay->addWidget(vw); 6 vw->setMinimumSize(400, 300); 7 lay->setSizeConstraint(QLayout::SetMinimumSize); 8 wi.setLayout(lay); 9 10 player->setVideoOutput(vw); 11 12 QNetworkRequest req(QUrl("http://pull-g.kktv8.com/livekktv/100987038.flv")); 13 14 QMediaContent c(req); 15 player->setMedia(c); 16 player->play();
Stage2:使用OpenCV进行播放
优点:
- 支持的播放格式多
- 相应的示例程序多
缺点:
- 虽然底层调用的也是ffmpeg的库,但是OpenCV是将收到的直播流转换成了一张一张的图片,然后再一张一张的图片按顺序播放出来的
- 没有使用GPU,只使用了CPU,会造成CPU占用率极高(实际测试中,总能占满CPU)
- 代码编写麻烦
Stage3:使用Qt-vlc方式
优点:
- 支持的格式众多
- 可以打开多种直播流链接
缺点:
- 编译时比较麻烦
上图是目前支持的平台,链接中都是编译过可以直接用的库,只需要配置到相应位置即可
(头文件和lib库在QT的.pro文件中添加进去即可,DLL库需要将相应路径添加到系统环境变量中,具体可以参考:QT总结第3篇:如何在QT中添加.lib,.dll还有.h文件)
综合来说较为推荐
Stage4:使用FQFlib方式
在VLC没配置成后,就搜索"qt rtmp",找到了这个项目。这是一个正在成长中的项目,发布日期为2018年4月3日,距离现在仅有11天。主要是为了实现基于FFmpeg的rtsp/rtmp网络流媒体播放库。
作者仅给出了相应的库文件,以及一个基于QT的可运行在Visual Studio中的例子。
在经过尝试使用VS运行失败后,还是决定使用最熟悉的QT Creator运行,然后仿照在VS平台的例子,自己修改出来了一个例子,见GITHUB仓库
但是这个例子可以解析HTTP的直播链接,如CCTV1的:http://ivi.bupt.edu.cn/hls/cctv1hd.m3u8
对于RTMP的链接,虽然可以加载,但是总是无法解析,遂放弃FQFlib的方式,继续寻找新方式。于是找到了QT-AV。
Stage5: Qt-AV开源项目
- GITHUB地址:https://github.com/wang-bin/QtAV
- 官方主页:http://www.qtav.org/
官方介绍:
QtAV is a multimedia playback library based on Qt and FFmpeg. It can help you to write a player with less effort than ever before.
QtAV has been added to FFmpeg projects page http://ffmpeg.org/projects.html
这个项目是2012年开始的,已经被ffmpeg官方收录了,的确是非常的方便。
下面简单写一下在Windows系统下的Qt-AV安装方式和使用方法,官方的文档在这里:https://github.com/wang-bin/QtAV/wiki/Build-QtAV,个人感觉没有说的很清楚,所以写一下自己踩过坑后的总结
1. 安装QT MSVC 2015 + VS2015
参考之前我的文章:http://www.cnblogs.com/QingHuan/p/7685328.html
2. 安装ffmpeg
下载链接:https://ffmpeg.zeranoe.com/builds/
将右边的Shared版本和Dev版本都下载下来,分别是DLL动态链接库、头文件和LIB。
头文件和lib库在QT的.pro文件中添加进去即可(第三步再进行添加),DLL库需要将相应路径添加到系统环境变量中,具体可以参考:QT总结第3篇:如何在QT中添加.lib,.dll还有.h文件
Windows系统的环境变量一般在重启后才会生效。
头文件和LIB文件的书写示例:
INCLUDEPATH += D:\ffmpeg\includeLIBS += -LD:\ffmpeg\lib -lavutil -lavformat -lavcodec -lswscale
3. 安装Qt-AV
- 下载源代码:
git clone https://github.com/wang-bin/QtAV.git git submodule update --init
- 打开QtAV.pro,在Qt-Creator中将头文件和lib库在.pro文件中添加进去
- 点击Build
- 点击Run,如果出现下图则说明编译成功
- 将编译后的库放在合适的位置,使QT-AV真正的作为库可以被调用
打开build-QtAV-Desktop_Qt_5_7_1_MSVC2015_64bit-Debug文件夹,这个文件夹是和git clone之后的那个目录同级的,
找到sdk_install.bat,这个脚本能够自动将相应的DLL文件复制到正确的位置,可以看一下代码,很容易理解:
mkdir D:\Qt\Qt5.7.1\5.7\msvc2015_64\include\QtAV\ copy /y C:\Users\Bert\Documents\Qt_Project\qt-ffmpeg\build-QtAV-Desktop_Qt_5_7_1_MSVC2015_64bit-Debug\lib_win_x86_64\*Qt*AV*.lib* D:\Qt\Qt5.7.1\5.7\msvc2015_64\lib\ copy /y C:\Users\Bert\Documents\Qt_Project\qt-ffmpeg\build-QtAV-Desktop_Qt_5_7_1_MSVC2015_64bit-Debug\lib_win_x86_64\QtAV1.lib D:\Qt\Qt5.7.1\5.7\msvc2015_64\lib\Qt5AV.lib copy /y C:\Users\Bert\Documents\Qt_Project\qt-ffmpeg\build-QtAV-Desktop_Qt_5_7_1_MSVC2015_64bit-Debug\lib_win_x86_64\QtAVd1.lib D:\Qt\Qt5.7.1\5.7\msvc2015_64\lib\Qt5AVd.lib copy /y C:\Users\Bert\Documents\Qt_Project\qt-ffmpeg\build-QtAV-Desktop_Qt_5_7_1_MSVC2015_64bit-Debug\tools\install_sdk\mkspecs\features\av.prf D:\Qt\Qt5.7.1\5.7\msvc2015_64\mkspecs\features\av.prf copy /y C:\Users\Bert\Documents\Qt_Project\qt-ffmpeg\build-QtAV-Desktop_Qt_5_7_1_MSVC2015_64bit-Debug\tools\install_sdk\mkspecs\modules\qt_lib_av*.pri D:\Qt\Qt5.7.1\5.7\msvc2015_64\mkspecs\modules\ copy /y C:\Users\Bert\Documents\Qt_Project\qt-ffmpeg\build-QtAV-Desktop_Qt_5_7_1_MSVC2015_64bit-Debug\bin\Qt*AV*.dll D:\Qt\Qt5.7.1\5.7\msvc2015_64\bin\ mkdir D:\Qt\Qt5.7.1\5.7\msvc2015_64\include\QtAVWidgets\ copy /y C:\Users\Bert\Documents\Qt_Project\qt-ffmpeg\build-QtAV-Desktop_Qt_5_7_1_MSVC2015_64bit-Debug\lib_win_x86_64\*Qt*AV*.lib* D:\Qt\Qt5.7.1\5.7\msvc2015_64\lib\ copy /y C:\Users\Bert\Documents\Qt_Project\qt-ffmpeg\build-QtAV-Desktop_Qt_5_7_1_MSVC2015_64bit-Debug\lib_win_x86_64\QtAVWidgets1.lib D:\Qt\Qt5.7.1\5.7\msvc2015_64\lib\Qt5AVWidgets.lib copy /y C:\Users\Bert\Documents\Qt_Project\qt-ffmpeg\build-QtAV-Desktop_Qt_5_7_1_MSVC2015_64bit-Debug\lib_win_x86_64\QtAVWidgetsd1.lib D:\Qt\Qt5.7.1\5.7\msvc2015_64\lib\Qt5AVWidgetsd.lib copy /y C:\Users\Bert\Documents\Qt_Project\qt-ffmpeg\build-QtAV-Desktop_Qt_5_7_1_MSVC2015_64bit-Debug\tools\install_sdk\mkspecs\features\avwidgets.prf D:\Qt\Qt5.7.1\5.7\msvc2015_64\mkspecs\features\avwidgets.prf copy /y C:\Users\Bert\Documents\Qt_Project\qt-ffmpeg\build-QtAV-Desktop_Qt_5_7_1_MSVC2015_64bit-Debug\tools\install_sdk\mkspecs\modules\qt_lib_avwidgets*.pri D:\Qt\Qt5.7.1\5.7\msvc2015_64\mkspecs\modules\ copy /y C:\Users\Bert\Documents\Qt_Project\qt-ffmpeg\build-QtAV-Desktop_Qt_5_7_1_MSVC2015_64bit-Debug\bin\Qt*AV*.dll D:\Qt\Qt5.7.1\5.7\msvc2015_64\bin\ copy /y C:\Users\Bert\Documents\Qt_Project\qt-ffmpeg\QtAV\tools\install_sdk\..\..\src\QtAV\*.h D:\Qt\Qt5.7.1\5.7\msvc2015_64\include\QtAV\ copy /y C:\Users\Bert\Documents\Qt_Project\qt-ffmpeg\QtAV\tools\install_sdk\..\..\src\QtAV\QtAV D:\Qt\Qt5.7.1\5.7\msvc2015_64\include\QtAV\ copy /y C:\Users\Bert\Documents\Qt_Project\qt-ffmpeg\QtAV\tools\install_sdk\..\..\widgets\QtAVWidgets\*.h D:\Qt\Qt5.7.1\5.7\msvc2015_64\include\QtAVWidgets\ copy /y C:\Users\Bert\Documents\Qt_Project\qt-ffmpeg\QtAV\tools\install_sdk\..\..\widgets\QtAVWidgets\QtAVWidgets D:\Qt\Qt5.7.1\5.7\msvc2015_64\include\QtAVWidgets\ mkdir D:\Qt\Qt5.7.1\5.7\msvc2015_64\include\QtAV\5.7.1\QtAV\ xcopy /s /q /y /i C:\Users\Bert\Documents\Qt_Project\qt-ffmpeg\QtAV\tools\install_sdk\..\..\src\QtAV\private D:\Qt\Qt5.7.1\5.7\msvc2015_64\include\QtAV\private xcopy /s /q /y /i C:\Users\Bert\Documents\Qt_Project\qt-ffmpeg\QtAV\tools\install_sdk\..\..\src\QtAV\private D:\Qt\Qt5.7.1\5.7\msvc2015_64\include\QtAV\5.7.1\QtAV\private xcopy /s /q /y /i C:\Users\Bert\Documents\Qt_Project\qt-ffmpeg\build-QtAV-Desktop_Qt_5_7_1_MSVC2015_64bit-Debug\bin\QtAV D:\Qt\Qt5.7.1\5.7\msvc2015_64\qml\QtAV copy /y C:\Users\Bert\Documents\Qt_Project\qt-ffmpeg\QtAV\tools\install_sdk\..\..\qml\plugins.qmltypes D:\Qt\Qt5.7.1\5.7\msvc2015_64\qml\QtAV\
此时就可以使用所有QT-AV的例子了,也可以创造自己的新工程并调用它。
注意:在DEBUG模式下编译的QT-AV只能让同样在DEBUG模式下编译的工程使用,
如果你想要使用windeployqt来打包你的程序(即生成绿色无安装版本程序),需要将QT-AV和你自己的工程都在QT Creator的release模式下进行编译。
更多关于使用windeployqt来打包程序的细节不在此赘述。我已经将自己打包的一个程序发布在了GITHUB上,可以参考一下:https://github.com/zhixuanli/qt-av-stream-player
4. 打开一个播放视频的程序并改造它
切换当前目录到如下位置:
\QtAV\examples\simpleplayer
点击打开simpleplayer_sdk.pro来在QT Creator中打开这个工程,不要打开simpleplayer.pro;
然后找到playerwindow.cpp,将68行进行如下修改,即可打开指定直播流链接(任意ffmpeg支持的格式,RTMP也支持),而非从本地加载一个视频
1 // QString file = QFileDialog::getOpenFileName(0, tr("Open a video")); 2 QString file = "rtmp://live.hkstv.hk.lxdns.com/live/hks";
再编译-运行,点击open即可打开香港位置的这个RTMP格式的直播流
相应的源代码和绿色版程序已经放在了我的仓库里:https://github.com/zhixuanli/qt-av-stream-player
5. 站在Qt-AV的角度看FQFlib
Qt-AV其实已经完成了FQFlib所要开发的对RTMP和RSTP格式直播流播放的支持,而且根据目前的实际测试其并不能播放RTMP(也可能是我自己没写好)
但是在已经有轮子的情况下,不太建议FQFlib的作者继续重新造轮子
RTMP测试源:rtmp://live.hkstv.hk.lxdns.com/live/hks
RTSP测试源:rtsp://184.72.239.149/vod/mp4://BigBuckBunny_175k.mov
多说一点:
HTTP和RTMP是直播流链接的格式,而直播流本身也有编码格式和封装格式。编码格式如h.264格式(也叫MPEG-4)等;封装格式则为MP4、WMV、FLV等。具体可以在推流时使用不同的ffmpeg参数进行设置。
H.264的维基百科介绍:
H.264,又称为MPEG-4第10部分,高级视频编码(英语:MPEG-4 Part 10, Advanced Video Coding,缩写为MPEG-4 AVC)是一种面向块,基于运动补偿的视频编码标准(英语:Video_coding_format) 。
MP4和MPEG4并不同:参考自:Difference between MPEG4 and MP4
Key difference: MPEG-4 is a method of defining compression of audio and visual digital data. MPEG-4 can be used for compression of AV data for web, as used for streaming media, for CD distribution, as well as for voice broadcast television applications. The MP4 is a container format. This means that it can be used to store audio and/or video data.
总结
综合来说,Qt-AV给我留下的印象最好,其经过了6个年头的发展,也有了多次的版本迭代,已经较为完善。
如果您想要使用QT开发功能强大,支持播放“格式”众多且代码简单的播放器,非常推荐使用Qt-AV
本文写于2018年4月14日,信息具有时效性~
posted on 2018-04-14 12:23 Oliver-cs 阅读(9994) 评论(4) 编辑 收藏 举报