Qt音视频开发31-Onvif抓拍图片
一、前言
抓拍是个很重要的功能,比如在报警视频联动中需要一张实时的图片,很多SDK不提供抓拍功能,而通过预览抓图,得到的图片已不具有实时性,那如何得到实时的图片呢?现在的IPC基本上都支持ONVIF协议,ONVIF协议除了提供RTSP的URL外,其实也给出了抓拍的URL,从Media的GetSnapshotUri获取。
以前不知道onvif也可以做抓拍功能,直到近期重新用Onvif Device Test Tool工具测试的时候,发现还有抓图的接口,于是抓跑分析出要收发的数据,然后加入到自己封装的onvif操作类中,这个抓图有个应用场景就是报警以后,直接通过onvif抓图,而不需要打开实时视频流,基本上不占用什么资源。
还有一种应用场景是作为图像智能检测服务,采集监控摄像机的在线运行状况,抓拍监控图像定时上传至云服务平台,人工或者智能分析图片,检测监控图像的情况,比如是否位置不正确,是否黑画面,光照度够不够等,发现问题后及时派遣维修人员上门维修,同时监控信息丢失后,也能立即通知维修人员去查看现场等,这就需要用到onvif抓图,如何检测设备是否在运行呢,方法比较多,其实可以用onvif协议读取日期时间,正常的话都会返回一个时间,当然也可以定时搜索一遍所有设备,然后与之前存储的设备比较,连续多少次少了哪一个就认为掉线。
抓拍图片流程:
- 发送GetSnapshotUri获取到对应token的抓图路径。
- 通过get方式请求这个路径,注意这里建议带上用户信息。
- 返回的数据就是图片的数据,接收完成以后用QImage的loadFromData载入即可。
onvif主要的功能:
- 搜索设备,获取设备的信息比如厂家、型号等。
- 获取设备的多个配置文件信息profile。
- 获取对应配置文件的视频流地址rtsp,以及分辨率等参数。
- 云台控制,上下左右移动,焦距放大缩小,相对和绝对移动。
- 获取预置位信息,触发预置位。
- 订阅事件,接收设备的各种消息尤其是报警事件比如IO口的报警。
- 抓图,获取设备当前的图片。
- 获取、创建、删除用户信息。
- 获取和设备网络配置信息比如IP地址等。
- 获取和设置NTP时间同步以及设置设备时间。
- 获取和设置视频参数和图片参数(亮度、色彩、饱和度)。
- 重启设备。
onvif的处理流程:
- 绑定组播IP(239.255.255.250)和端口(3702),发送固定的xml格式的数据搜索设备。
- 接收到的xml格式的数据解析,得到设备的Onvif地址。
- 对Onvif地址发送对应的数据,收到数据取出对应的节点数据。
- 请求Onvif地址获取Media地址和Ptz地址,Media地址用来获取详细的配置文件,Ptz地址用来云台控制。
- ptz控制是对Ptz地址发送对应的数据即可。
- 设置了用户认证的需要组织用户token信息一块发送,每次都需要作鉴权处理。
- 接收到的数据不是标准的xml数据,没法按照正常的节点解析来处理,只能用QXmlQuery来做。
- 每个厂家设备返回的数据未必完全一致,基本上都不一致,需要进行模糊查找节点值。
- 特意采用底层协议解析,因为soap太臃肿函数名称太另类,特意做的轻量级的。
- 两个必备工具,Onvif Device Manager 和 Onvif Device Test Tool。
二、功能特点
- 广播搜索设备,支持IPC和NVR,依次返回,可选择不同的网卡IP。
- 依次获取Onvif地址、Media地址、Profile文件、Rtsp地址。
- 可对指定的Profile获取视频流Rtsp地址,比如主码流子码流地址。
- 可对每个设备设置Onvif用户信息,用于认证获取详细信息。
- 可实时预览摄像机图像。
- 支持云台控制,可上下左右调节云台,支持绝对移动和相对移动,可放到和缩小图像远近。
- 支持Qt4和Qt5任意Qt版本,亲测Qt4.7.0到Qt5.14.2。
- 支持任意编译器,亲测mingw、msvc、gcc、clang。
- 支持任意操作系统,亲测xp、win7、win10、android、linux、嵌入式linux、树莓派全志H3等。
- 支持任意Onvif摄像机和NVR,亲测海康、大华、宇视、华为、海思芯片内核等,可定制开发。
- 支持对指定IP地址及onvif地址进行单播搜索,比如跨网段情况下非常有用。
- 支持指定过滤条件过滤搜索设备。
- 支持搜索间隔设置,保证所有设备搜索回来,在大量设备现场很有用。
- 可对图片参数(亮度、色彩度、饱和度)进行设置。
- 支持NTP校时和时间同步设置。
- 纯Qt编写,超级小巧轻量,总共约2000行代码,不依赖任何第三方的库和组件,跨平台。
- 封装好了通用的数据发送和接收解析的函数,可以非常方便的自行拓展其他Onvif处理。
- 工具上提供了收发数据文本框,显示收发的数据,方便查看和分析。
- 支持所有Onvif设备,代码工整,接口友好,直接引入pri即可使用。
三、效果图
四、相关站点
- 国内站点:https://gitee.com/feiyangqingyun/QWidgetDemo
- 国际站点:https://github.com/feiyangqingyun/QWidgetDemo
- 个人主页:https://blog.csdn.net/feiyangqingyun
- 知乎主页:https://www.zhihu.com/people/feiyangqingyun/
- 体验地址:https://blog.csdn.net/feiyangqingyun/article/details/97565652
五、核心代码
#include "onvifsnap.h"
#include "onvifhelper.h"
#include "onvifrequest.h"
#include "onvifquery.h"
OnvifSnap::OnvifSnap(QObject *parent) : QObject(parent)
{
device = 0;
}
void OnvifSnap::setDevice(OnvifDevice *device)
{
this->device = device;
}
QString OnvifSnap::getSnapshotUri(const QString &profileToken)
{
if (device->mediaUrl.isEmpty()) {
return QString();
}
QString file = OnvifHelper::getFile(":/send/getSnapshotUri.xml");
file = file.arg(device->request->getUserToken()).arg(profileToken);
QByteArray dataSend = file.toUtf8();
QNetworkReply *reply = device->request->post(device->mediaUrl, dataSend);
emit sendData(dataSend, device->mediaUrl);
QByteArray dataReceive;
bool ok = device->checkData(reply, dataReceive, "请求截图");
if (ok) {
OnvifQuery query;
query.setData(dataReceive);
device->snapUrl = query.getSnapUrl();
if (!device->snapUrl.isEmpty()) {
//重新加上用户认证,取图片也需要认证的
emit receiveInfo(QString("抓图地址-> %1").arg(device->snapUrl));
QString userInfo = QString("http://%1:%2@").arg(device->userName).arg(device->userPwd);
device->snapUrl = device->snapUrl.replace("http://", userInfo);
}
}
return device->snapUrl;
}
QImage OnvifSnap::snapImage(const QString &profileToken)
{
//这里还可以考虑过滤,比如已经存在了 snapUrl 则不需要去获取地址
getSnapshotUri(profileToken);
QImage image;
if (!device->snapUrl.isEmpty()) {
//请求图片数据回复 1080P 大概需要 600ms
//默认采用的是同步阻塞获取,并不会卡主界面
QNetworkReply *reply = device->request->get(device->snapUrl);
QByteArray dataReceive;
bool ok = device->checkData(reply, dataReceive, "收到截图", false);
if (ok) {
//下面这行代码非常耗时 1080P 图片大概需要 80ms 如果需要频繁的截图建议放入线程处理
image.loadFromData(dataReceive);
}
}
return image;
}