[OpenCV实战]43 使用OpenCV进行背景分割
运动背景分割法Background Segment主要是指通过不同方法拟合模型建立背景图像,将当前帧与背景图像进行相减比较获得运动区域。下图所示为检测图像:
通过前面的检测帧建立背景模型,获得背景图像。然后检测图像与背景图像相减即为运动图像,黑色区域为背景,白色区域为运动目标,如下图所示:
在OpenCV标注库中有两种背景分割器:KNN,MOG2。但是实际上OpenCV_contrib库的bgsegm模块中还有其他几种背景分割器。本文主要介绍OpenCV_contrib中的运动背景分割模型及其用法,并对不同检测模型的性能和效果进行对比。
1 方法介绍
OpenCV_contrib中bgsegm模块主要有GMG, CNT, KNN, MOG, MOG2, GSOC, LSBP等7种背景分割器,其中KNN,MOG2可以在OpenCV标准库中直接使用,其他需要在OpenCV_contrib库中使用。具体各个方法介绍如下:
- GMG:基于像素颜色进行背景建模
- CNT:基于像素点计数进行背景建模
- KNN:基于K最近邻进行背景建模
- MOG:基于混合高斯进行背景建模
- MOG2:基于混合高斯进行背景建模,MOG的升级版本
- GSOC:类似LSBP
- LSBP:基于LBP进行背景建模
各个方法提出时间、相关论文和OpenCV函数接口介绍如下表所示:
OpenCV contrib库的编译安装见:
2 代码与方法评估
2.1 代码
下述代码介绍了OpenCV_contrib的bgsegm模块中不同背景分割方法C++和Python的调用。对比了不同背景分割方法在示例视频下,单线程和多线程的效果。
代码和示例视频下载地址:
https://github.com/luohenyueji/OpenCV-Practical-Exercise
完整代码如下:
C++
#include <opencv2/opencv.hpp>
#include <opencv2/bgsegm.hpp>
#include <iostream>
using namespace cv;
using namespace cv::bgsegm;
const String algos[7] = { "GMG", "CNT", "KNN", "MOG", "MOG2", "GSOC", "LSBP" };
// 创建不同的背景分割识别器
static Ptr<BackgroundSubtractor> createBGSubtractorByName(const String& algoName)
{
Ptr<BackgroundSubtractor> algo;
if (algoName == String("GMG"))
algo = createBackgroundSubtractorGMG(20, 0.7);
else if (algoName == String("CNT"))
algo = createBackgroundSubtractorCNT();
else if (algoName == String("KNN"))
algo = createBackgroundSubtractorKNN();
else if (algoName == String("MOG"))
algo = createBackgroundSubtractorMOG();
else if (algoName == String("MOG2"))
algo = createBackgroundSubtractorMOG2();
else if (algoName == String("GSOC"))
algo = createBackgroundSubtractorGSOC();
else if (algoName == String("LSBP"))
algo = createBackgroundSubtractorLSBP();
return algo;
}
int main()
{
// 视频路径
String videoPath = "./video/vtest.avi";
// 背景分割识别器序号
int algo_index = 0;
// 创建背景分割识别器
Ptr<BackgroundSubtractor> bgfs = createBGSubtractorByName(algos[algo_index]);
// 打开视频
VideoCapture cap;
cap.open(videoPath);
// 如果视频没有打开
if (!cap.isOpened())
{
std::cerr << "Cannot read video. Try moving video file to sample directory." << std::endl;
return -1;
}
// 输入图像
Mat frame;
// 运动前景
Mat fgmask;
// 最后显示的图像
Mat segm;
// 延迟等待时间
int delay = 30;
// 获得运行环境CPU的核心数
int nthreads = getNumberOfCPUs();
// 设置线程数
setNumThreads(nthreads);
// 是否显示运动前景
bool show_fgmask = false;
// 平均执行时间
float average_Time = 0.0;
// 当前帧数
int frame_num = 0;
// 总执行时间
float sum_Time = 0.0;
for (;;)
{
// 提取帧
cap >> frame;
// 如果图片为空
if (frame.empty())
{
// CAP_PROP_POS_FRAMES表示当前帧
// 本句话表示将当前帧设定为第0帧
cap.set(CAP_PROP_POS_FRAMES, 0);
cap >> frame;
}
double time0 = static_cast<double>(getTickCount());
// 背景建模
bgfs->apply(frame, fgmask);
time0 = ((double)getTickCount() - time0) / getTickFrequency();
// 总执行时间
sum_Time += time0;
// 平均每帧执行时间
average_Time = sum_Time / (frame_num + 1);
if (show_fgmask)
{
segm = fgmask;
}
else
{
// 根据segm = alpha * frame + beta改变图片
// 参数分别为,输出图像,输出图像格式,alpha值,beta值
frame.convertTo(segm, CV_8U, 0.5);
// 图像叠加
// 参数分别为,输入图像/颜色1,输入图像/颜色2,输出图像,掩膜
// 掩膜表示叠加范围
add(frame, Scalar(100, 100, 0), segm, fgmask);
}
// 显示当前方法
cv::putText(segm, algos[algo_index], Point(10, 30), FONT_HERSHEY_PLAIN, 2.0, Scalar(255, 0, 255), 2, LINE_AA);
// 显示当前线程数
cv::putText(segm, format("%d threads", nthreads), Point(10, 60), FONT_HERSHEY_PLAIN, 2.0, Scalar(255, 0, 255), 2, LINE_AA);
// 显示当前每帧执行时间
cv::putText(segm, format("averageTime %f s", average_Time), Point(10, 90), FONT_HERSHEY_PLAIN, 2.0, Scalar(255, 0, 255), 2, LINE_AA);
cv::imshow("FG Segmentation", segm);
int c = waitKey(delay);
// 修改等待时间
if (c == ' ')
{
delay = delay == 30 ? 1 : 30;
}
// 按C背景分割识别器
if (c == 'c' || c == 'C')
{
algo_index++;
if (algo_index > 6)
algo_index = 0;
bgfs = createBGSubtractorByName(algos[algo_index]);
}
// 设置线程数
if (c == 'n' || c == 'N')
{
nthreads++;
if (nthreads > 8)
nthreads = 1;
setNumThreads(nthreads);
}
// 是否显示背景
if (c == 'm' || c == 'M')
{
show_fgmask = !show_fgmask;
}
// 退出
if (c == 'q' || c == 'Q' || c == 27)
{
break;
}
// 当前帧数增加
frame_num++;
if (100 == frame_num)
{
String strSave = "out_" + algos[algo_index] + ".jpg";
imwrite(strSave, segm);
}
}
return 0;
}
Python
# -*- coding: utf-8 -*-
"""
Created on Wed Aug 12 19:20:56 2020
@author: luohenyueji
"""
import cv2
from time import *
# TODO 背景减除算法集合
ALGORITHMS_TO_EVALUATE = [
(cv2.bgsegm.createBackgroundSubtractorGMG(20, 0.7), 'GMG'),
(cv2.bgsegm.createBackgroundSubtractorCNT(), 'CNT'),
(cv2.createBackgroundSubtractorKNN(), 'KNN'),
(cv2.bgsegm.createBackgroundSubtractorMOG(), 'MOG'),
(cv2.createBackgroundSubtractorMOG2(), 'MOG2'),
(cv2.bgsegm.createBackgroundSubtractorGSOC(), 'GSOC'),
(cv2.bgsegm.createBackgroundSubtractorLSBP(), 'LSBP'),
]
# TODO 主函数
def main():
# 背景分割识别器序号
algo_index = 0
subtractor = ALGORITHMS_TO_EVALUATE[algo_index][0]
videoPath = "./video/vtest.avi"
show_fgmask = False
# 获得运行环境CPU的核心数
nthreads = cv2.getNumberOfCPUs()
# 设置线程数
cv2.setNumThreads(nthreads)
# 读取视频
capture = cv2.VideoCapture(videoPath)
# 当前帧数
frame_num = 0
# 总执行时间
sum_Time = 0.0
while True:
ret, frame = capture.read()
if not ret:
return
begin_time = time()
fgmask = subtractor.apply(frame)
end_time = time()
run_time = end_time - begin_time
sum_Time = sum_Time + run_time
# 平均执行时间
average_Time = sum_Time / (frame_num + 1)
if show_fgmask:
segm = fgmask
else:
segm = (frame * 0.5).astype('uint8')
cv2.add(frame, (100, 100, 0, 0), segm, fgmask)
# 显示当前方法
cv2.putText(segm, ALGORITHMS_TO_EVALUATE[algo_index][1], (10, 30), cv2.FONT_HERSHEY_PLAIN, 2.0, (255, 0, 255),
2,
cv2.LINE_AA)
# 显示当前线程数
cv2.putText(segm, str(nthreads) + " threads", (10, 60), cv2.FONT_HERSHEY_PLAIN, 2.0, (255, 0, 255), 2,
cv2.LINE_AA)
# 显示当前每帧执行时间
cv2.putText(segm, "averageTime {} s".format(average_Time), (10, 90), cv2.FONT_HERSHEY_PLAIN, 2.0,
(255, 0, 255), 2, cv2.LINE_AA);
cv2.imshow('some', segm)
key = cv2.waitKey(1) & 0xFF
frame_num = frame_num + 1
# 按'q'健退出循环
if key == ord('q'):
break
cv2.destroyAllWindows()
if __name__ == '__main__':
main()
2.2 评价
在i5六代CPU(太渣就不具体介绍),12G内存,VS2017 C++ Release平台下,各种方法处理速度如下表所示。
方法 | 单线程单帧处理平均时间/ms | 四线程单帧处理平均时间/ms |
---|---|---|
GMG | 38.6 | 31.3 |
CNT | 4.6 | 2.9 |
KNN | 19.8 | 9.3 |
MOG | 16.3 | 15.6 |
MOG2 | 15.3 | 7.7 |
GSOC | 66.3 | 49.4 |
LSBP | 193.8 | 94.9 |
各个方法,个人评价如下:
- GMG 初始建模帧会快速变化,导致全屏运动,对邻近运动目标检测效果一般,GMG需要自行设定参数(所以新的OpenCV标准库移除了GMG)总体效果一般。效果如图所示:
- CNT 初始建模帧在一段时间持续变化导致全屏运动,运动目标过快可能会出现鬼影,低端设备速度很快,高端硬件速度和MOG2相近,总体效果不错。效果如图所示:
- KNN 初始建模在一段时间持续变化导致全屏运动,运动目标都能较好检测出来,速度也还不错,总体效果不错。效果如图所示:
- MOG 建模会丢失运动目标,速度不错,总体效果不错。效果如图所示:
- MOG2 运动区域过大,容易出现细微变化区域,总体效果最好,MOG的升级版本,运动区域基本能检测出来,不过需要自行设定参数。效果如图所示:
- GSOC 建模时间过短出现鬼影,随着建模时间越来越长,检测效果会变好,会逐渐消除鬼影,LSBP的升级版本,相对还行。效果如图所示:
- LSBP 极易出现鬼影,建模次数越多,建模消耗时间有所减少,但是鬼影会偶尔出现。效果如图所示:
2.3 方法选择
-
追求速度 CNT or MOG2 or KNN
如果是低端设备或者并行任务多毫无疑问是CNT最好,高端设备还是MOG2更好,毕竟MOG2检测效果优于CNT,KNN也是不错的选择。 -
追求质量 MOG2 or KNN or GSOC
检测质量MOG2和KNN差不多,GSOC建模时间长会很不错,但是GSOC太慢了。如果不在意速度GSOC很好,其他还是MOG2和KNN。 -
平衡质量和速度 MOG2 or KNN
质量和速度均衡MOG2和KNN最不错,不然为什么MOG2和KNN放在标准库,其他在contrib库。MOG2需要调整参数,不过速度和质量优于KNN。如果图省心,不想调整参数,选KNN最好。
总的来说实际应用中,MOG2用的最多,KNN其次,CNT一般用于树莓派和多检测任务中。
3 参考
本文来自博客园,作者:落痕的寒假,转载请注明原文链接:https://www.cnblogs.com/luohenyueji/p/16970243.html
![](https://gitcode.net/LuohenYJ/article_picture_warehouse/-/raw/main/wechat/content/%E5%8A%A0%E6%B2%B9%E9%B8%AD.gif)