【opencv】传统图像识别：hog+svm行人识别实战

实战工具：python3.7+pycharm+opencv4.6
算法知识：HOG特征提取、SVM模型构建
实战目的：本次实战的目的是熟悉HOG+SVM工作流算法，初步掌握图像分类的传统算法。
实战记录：本以为在学习原理、算法应用、动手实操后会很顺利的完全自主实现行人检测项目，但实战过程却差强人意，所以结果嘛就马马虎虎了。实战过程中所爆露出的不足有以下几点：

• 对opencv、numpy、python的基础知识掌握的不够全面、牢固；
• 对HOG算法的输出数据形式理解不深刻；
• 对SVM模型的相关参数、函数方法一知半解，特别是数据在svm中的作用、输出。

实战评价：虽然坎坎坷坷，但还过得去。

1. 准备工作

本次实战使用的数据是MIT行人数据库（有现成的资料，懒得收集啦），该数据库为较早公开的行人数据库，共924张行人图片（ppm格式，宽高为64x128），肩到脚的距离约80象素。该数据库只含正面和背面两个视角，无负样本，未区分训练集和测试集。Dalal等采用“HOG+SVM”，在该数据库上的检测准确率接近100%。该数据库的下载链接见这里。

2. 实战代码

"""
加载并整理数据集-->图像的预处理-->图像的特征提取
-->设计分类器-->输出分类器准确率-->测试图像
"""
import cv2
import random
import glob
import numpy as np


# 加载本地图像数据集，并将数据集全部添加到列表中，然后打乱数据顺序
def load_image(filename):
    paths = glob.glob(filename)
    persons, labels = [], []
    for i in paths:
        persons.append(cv2.imread(i))
        labels.append(1)
    random.seed(1)
    random.shuffle(persons)
    persons = np.array(persons)
    return persons, labels


# 图像预处理，将输入图像灰度化、高斯模糊
def image_preprocessing(image):
    cv2.cvtColor(image, cv2.COLOR_RGB2GRAY)
    # image = cv2.resize(image, dsize=(32, 64))
    image_preprocess = cv2.GaussianBlur(image, (3, 3), sigmaX=1, sigmaY=1)
    return image_preprocess


# 构建HOG检测器
def get_hog():
    winSize = (64, 128)
    cellSize = (8, 8)
    blockSize = (16, 16)
    blockStride = (16, 16)
    nbins = 9
    signedGradient = True
    derivAperture = 1  # 默认参数
    winSigma = -1.  # 默认参数
    histogramNormType = 0  # 默认参数
    L2HysThreshold = 0.2  # 默认参数
    gammaCorrection = 1  # 默认参数
    nlevels = 64  # 默认参数
    hog = cv2.HOGDescriptor(winSize, blockSize, blockStride, cellSize, nbins, derivAperture, winSigma,
                            histogramNormType, L2HysThreshold, gammaCorrection, nlevels, signedGradient)
    return hog


# 创建SVM模型并配置参数
def SVM_model():
    model = cv2.ml.SVM_create()
    model.setType(cv2.ml.SVM_ONE_CLASS)
    model.setKernel(cv2.ml.SVM_POLY)
    model.setC(1)
    model.setNu(0.01)
    model.setDegree(0.1)
    model.setCoef0(0.5)
    model.setGamma(0.6)
    model.setTermCriteria((cv2.TERM_CRITERIA_MAX_ITER, int(1e2), 1e-5))
    return model


# 训练模型
def SVM_train(model, samples, responses):
    model.train(samples, cv2.ml.ROW_SAMPLE, responses)
    return model


# 计算分类器准确率
def accuracy(model, data_train, labels_train):
    retval, result = model.predict(data_train)
    temp = (np.array(labels_train) == result).mean()
    print(f'该模型的准确率是：{temp * 100}')


# 测试分类器
def image_predict(model, data_test, samples, labels_test):
    retval, result = model.predict(samples)
    counter = 0
    for i in (labels_test == result.ravel()):
        # 测试结果与实际结果不符合仅呈现红色通道
        if not i:
            data_test[counter][..., :2] = 0
            counter += 1
    h1 = data_test[0]
    for i in data_test[1:12, ...]:
        h1 = np.hstack((h1, i))
    h2 = data_test[12]
    for i in data_test[13:, ...]:
        h2 = np.hstack((h2, i))
    return np.vstack((h1, h2))


if __name__ == "__main__":
    print('加载图片...')
    datas, labels = load_image('image\\Pedestrian detection\\per*.ppm')
    temp, data_test = np.split(datas, [900])

    print('数据预处理...')
    datas = list(map(image_preprocessing, datas))

    print('提取训练数据的HOG特征向量...')
    hog = get_hog()
    hog_vector = list(map(hog.compute, datas))

    print('将数据集分为两部分，900张用于训练，24张用于测试...')
    data_train, temp = np.split(datas, [900])
    labels_train, labels_test = np.split(np.array(labels), [900])
    hog_vector_train, hog_vector_test = np.split(hog_vector, [900])

    print('训练SVM模型...')
    model = SVM_model()
    model_svm = SVM_train(model, hog_vector_train, labels_train)

    print('输出分类模型的准确率...')
    accuracy(model_svm, hog_vector_train, labels_train)

    print('测试分类模型...')
    result = image_predict(model_svm, data_test, hog_vector_test, labels_test)

    cv2.imshow('result, press the q key to exit', result)
    while 1:
        if cv2.waitKey() == ord('q'):
            break

    print('测试其他图像...')
    class_name = {0: "不包含行人", 1: "包含行人"}
    img = cv2.imread('image\\persontrain.png')
    img = cv2.resize(img, dsize=(64, 128))
    img2 = cv2.cvtColor(img, cv2.COLOR_RGB2GRAY)
    img_preprocess = cv2.GaussianBlur(img2, (3, 3), sigmaX=1, sigmaY=1)
    # vector = np.array([hog.compute(img_preprocess)])
    vector = np.expand_dims(hog.compute(img_preprocess), 0)
    ret = model_svm.predict(vector)[1].ravel()
    print(f"图片img{class_name[int(ret)]}")

    cv2.imshow('img', img)
    cv2.waitKey()
    cv2.destroyAllWindows()


'''
加载图片...
数据预处理...
提取训练数据的HOG特征向量...
将数据集分为两部分，900张用于训练，24张用于测试...
训练SVM模型...
输出分类模型的准确率...
该模型的准确率是：99.0
测试分类模型...
测试其他图像...
图片img包含行人
'''

测试图片集的结果：

测试的其他图片：

3. 项目总结

• HOG的特征提取的是图像的特征向量，该向量用于作为svm模型train()的"samples"输入变量。当然，在测试图像使用predict()函数时输入的也是图像的特征向量---"samples"。
• 不同的SVMType有不同的作用，主要分为分类和回归两类。其中分类可分为单分类ONE_CLASS和非单分类SVM_C_SVC和NU_SVC。本项目用的是单分类类型。
• hog.conpute(img)、model.train(samples, layout, responses)、model.predict(samples)的关系：
  • hog.conpute(img)提取的是单张图像的一维特征向量，如果要提取图像集的特征向量可以使用map()或者for循环。hog.conpute(img)处理后的结果一般被用于训练、测试模型。
  • model.train(samples, layout, responses)，该函数的三个参数分别是训练样本集的特征向量矩阵、每个样本特征向量在矩阵的形式、标签矩阵。layout---cv2.ml.ROW_SAMPLE，表示每个训练样本是行向量；cv2.ml.COL_SAMPLE，表示每个训练样本是列向量。layout的值决定了输入的samples中每个样本特征向量在矩阵中的形式。
  • model.predict(samples)中的samples矩阵形式取决于model.train(samples, layout, responses)中layout的值。该函数的返回值有两个retval和result，测试样本的标签值存储在result.ravel()中。