随笔分类 - Qt/C++音视频开发
摘要：一、前言 抓拍是个很重要的功能，比如在报警视频联动中需要一张实时的图片，很多SDK不提供抓拍功能，而通过预览抓图，得到的图片已不具有实时性，那如何得到实时的图片呢？现在的IPC基本上都支持ONVIF协议，ONVIF协议除了提供RTSP的URL外，其实也给出了抓拍的URL，从Media的GetSnap
阅读全文
摘要：一、前言 能够接收摄像机的报警事件，比如几乎所有的摄像机后面会增加报警输入输出接口，如果用户外接了报警输入，则当触发报警以后，对应的事件也会通过onvif传出去，这样就相当于兼容了所有onvif摄像机厂家的报警事件接收，在一些应用系统中，这个功能也是很常见的。接收摄像机的报警信息一般有两种处理方式，
阅读全文
摘要：一、前言 云台控制也是onvif功能中最常用的，最常用的功能排第一的是拿到视频流地址，排第二的就是云台控制了，云台控制的含义就是对带云台的摄像机进行上下左右的移动，一般云台摄像机都是带有一个小电机，一旦收到485或者网络来的正确的指令以后就触发单片机程序，然后单片机程序驱动电机进行转动，所以相对来说
阅读全文
摘要：一、前言 严格意义上来说，Onvif处理这块算不上音视频开发的内容，为何重新整理放在音视频开发这个类别，主要是为了方便统一管理，而且在视频监控处理这块，通过onvif来拿到音视频流这是必经的阶段，也算是搭边的东西。上一篇文章写的是onvif设备搜索，搜到这些设备以后，第一件事情就是要对设备信息获取一
阅读全文
摘要：一、前言 最近业余时间主要研究音视频开发这块，前面的文章写了好多种视频监控内核，一旦将这些内核搞定以后，视频监控的相关功能水到渠成。做视频监控系统，绕不过onvif这玩意，这玩意主要就是为了统一一个大概的标准，能够对各个厂家的监控设备进行常用的一些操作，比如搜索、获取信息、云台控制、事件订阅、抓拍图
阅读全文
摘要：一、前言 用ffmpeg来实现自己的播放器，这是一直以来的一个目标，之前的难点卡在音视频同步以及如何播放声音这两点（尽管之前已经进行过不少的尝试和探索，但是问题还是挺多，比如音视频同步不完美，有些文件正常而有些文件不准，声音播放采用的sdl总感觉多了个依赖怪怪的，而且很多初学者也反映希望采用Qt自身
阅读全文
摘要：一、前言 音视频的播放、关闭、暂停、继续这几个基本功能，绝大部分人都是信手拈来的搞定，关于音量调节还是稍微饶了下弯弯，最开始打算采用各个系统的api来处理，坐下来发现不大好，系统的支持不完美，比如有些api限定了win7，而xp确没有，而且这玩意控制的是全局的音量，不好，大部分时候需要控制的是当前播
阅读全文
摘要：一、前言 用ffmpeg来做音视频同步，个人认为这个是ffmpeg基础处理中最难的一个，无数人就卡在这里，怎么也不准，本人也是尝试过网上各种demo，基本上都是渣渣，要么仅仅支持极其少量的视频文件比如收到的数据包是一帧视频一帧音频的，要么根本没法同步歪七八糟的，要么进度跳过去直接蹦蹦蹦崩溃的，其实最
阅读全文
摘要：一、前言 在之前做的视频监控系统中，根据不同的用户需要，做了好多种视频监控内核，有ffmpeg内核的，有vlc内核的，有mpv内核的，还有海康sdk内核的，为了做成通用的功能，不同内核很方便的切换，比如pro直接改一个DEFINE的变量名，所以需要将各种内核的使用方法做成一样的接口，这样看起来就很整
阅读全文
摘要：一、前言 采用GPU来绘制实时视频一直以来都是个难点，如果是安防行业的做视频监控开发这块的人员，这个坎必须迈过去，本人一直从事的是安防行业的电子围栏这个相当小众的细分市场的开发，视频监控这块仅仅是周边技术玩一玩探讨一下，关于GPU绘制这块着实走了不少的弯路。 之前用ffmpeg解码的时候，已经做了硬
阅读全文
摘要：一、前言 硬件解码是图形芯片厂家提出的用GPU资源解码视频流的方案，与之相对的是软解，也就是传统的用CPU承担解码工作的方案；优点是效率高，功耗低、热功耗低，缺点是缺乏有力的支持（包括滤镜、字幕等），局限性较大（例如打开硬件解码后PC的节能方面的功能失效cnq等），设置较为复杂；需要硬件有硬件解码模
阅读全文
摘要：一、前言 海康sdk中包含了MP4解码播放库，对应的API函数都是PlayM4开头的，顾名思义播放MP4，海康的视频默认可以保存成MP4文件，可以用通用的播放器来播放，这就是为啥前面好多篇文章讲到的各种内核录像存储都改成MP4来存储，vlc、mpv、ffmpeg等，最终录像存储都转换成MP4文件，看
阅读全文
摘要：一、前言 关于调用海康sdk来进行录像存储，整体的框架架构处理流程沿袭了之前vlc内核、ffmpeg内核、mpv内核的做法，定时存储这块，开个定时器判断，到了时间则先关闭原来的录像存储，然后在开始一个新的录像存储，重新传入新的文件名，所以这块的代码直接拷贝过来就能使用，要做的就是替换两行代码即可，一
阅读全文
摘要：一、前言 海康sdk显示实时视频流除了支持句柄方式以外，也支持回调的方式拿到每一张图片自己绘制处理，当然回调除了拿到视频数据，其实音频数据也一块拿到了，自行调用音频设备播放就行，关于海康sdk回调这块，还着实折腾了一阵子才搞定，可能最开始没有参照提供的demo以及没有彻底的搜索吧，只是单单看sdk的
阅读全文
摘要：一、前言 在视频监控行业领域，海康当之无愧是老大，稳坐第一的宝座很多年了，近期需要将视频监控系统改成采用海康sdk的内核，于是特意去查阅了sdk的使用手册，sdk相关的文档和文件可以直接官网下载到，而且是经常更新的，目前提供了windows和linux上的，win上的sdk还是更新比较快而且完整的，
阅读全文
摘要：一、前言 前面几篇文章，依次讲了解码播放、录像存储、读取和控制、事件订阅等，其实这些功能的实现都离不开封装的通用的接口，最开始本人去调用一些设置的时候，发现多参数的不好实现，原来需要用mpv_node处理，而Qt中如何转成mpv_node需要特殊的处理才行，后来在开源主页看到了官方提供的demo例子
阅读全文
摘要：一、前言 在使用libmpv的过程中，通过对mpv事件订阅，可以更准确和准时的得知一些事件，比如文件打开成功，播放状态的改变等，而不需要定时器去读取状态，尤其是打开成功这个事件，如果不采用事件订阅，有时候视频流会卡主一阵子，比如不存在的视频流或者网络不好的情况下，有两种办法可以规避这个情况，在vlc
阅读全文
摘要：一、前言 用mpv来读取文件的信息，以及设置当前播放进度，音量、静音等，和当时vlc封装的功能一样，只不过vlc是通过调用函数接口去处理，而mpv是通过读取和设置属性来处理，vlc支持定时器或者线程中函数方法去读取状态，也支持事件回调去拿到对应的状态改变，mpv当然也支持，而且还更方便，主要的工作量
阅读全文
摘要：一、前言 用mpv来做录像存储，保存视频文件，从来都没有如此的方便，直接设置属性stream-record对应的文件路径即可，我的乖乖，一行代码，如此精简美丽大方，搞得我都不敢相信自己的眼睛，mpv除了支持主流的win、linux、mac三大操作系统外，还支持手机安卓IOS等，尤其是居然支持各种嵌入
阅读全文
摘要：一、前言 之前玩了vlc解码和ffmpeg解码，前阵子有个客户需要换成mpv解码，于是研究了下mpv的使用方法，自从用了mpv以后发现爱不释手，这玩意天生适合极客和程序员啊，居然将各种处理封装成了命令和属性调用，比如播放进度，你只需要读取属性time-pos即可，如果要读取音量只需要读取属性volu
阅读全文
