FFMPEG+SDL简单视频播放器——人脸检测

前言

最近突发奇想，给播放器加上一个人脸检测的功能（事情似乎朝着奇怪的方向发展了，谁家的播放器会需要去检测人脸啊😑！），主要的目的是为了学习opencv，尝试将ffmpeg和opencv融合在一起使用。这里着重展示opencv用于人脸检测部分的代码，播放器其余部分可以参考《FFMPEG+SDL简单视频播放器——视频播放》和《FFMPEG+SDL简单视频播放器——视频快进》

实现

人脸检测

在之前写的播放器中，视频帧的格式为YUV420。在opencv处理图片前需要进行格式转化，将图片格式从YUV420转化成BGR。如果不进行格式转化，图片被opencv处理后的部分会出现颜色无法正常显示的问题

cv::cvtColor(yuvimg, img, COLOR_YUV2BGR_I420);

在检测到人脸后，用红框将人脸框起来

if (faces.size() > 0)
{
    for (size_t i = 0; i < faces.size(); i++)
    {
        rectangle(img, faces[i], Scalar(0, 0, 255), 3, 8, 0);
    }
}

在opencv对图片处理完成后，将处理后的图片进行返回。这里用到了haarcascade_frontalface_alt2.xml文件，需要提前下载，或者从opecv的编译目录下复制过来。
完整的人脸检测函数如下

cv::Mat detect_face(Mat yuvimg, int64_t times)
{
    cv::Mat img;
    // 转换YUV图像为BGR图像
    cv::cvtColor(yuvimg, img, COLOR_YUV2BGR_I420);
    CascadeClassifier cascade;
    const string path = "./haarcascade_frontalface_alt2.xml";

    // 尝试加载人脸检测器模型
    if (!cascade.load(path))
    {
        // 如果加载失败，返回原始YUV图像
        return yuvimg;
    }
    vector<cv::Rect> faces(0);
    // 使用人脸检测器检测人脸
    cascade.detectMultiScale(img, faces, 1.1, 2, 0, Size(30, 30));
    // 如果检测到人脸
    if (faces.size() > 0)
    {
        // 在图像上绘制检测到的人脸的红色框
        for (size_t i = 0; i < faces.size(); i++)
        {
            rectangle(img, faces[i], Scalar(0, 0, 255), 3, 8, 0);
        }
    }
    else
    {
        // 如果未检测到人脸，返回原始YUV图像
        return yuvimg;
    }
    // 返回处理后的YUV图像
    cv::cvtColor(img, yuvimg, COLOR_BGR2YUV_I420);
    return img;
}

视频播放

定义一个Mat，用于接收视频帧

cv::Mat frameMat;

在对AVFrame的格式进行转换后，将图像数据传递给Mat

sws_scale(img_convert_ctx, (const unsigned char *const *)pFrame->data, pFrame->linesize, 0, pCodecCtx->height, pFrameYUV->data, pFrameYUV->linesize);
int64_t pts = packet->pts;
frameMat = cv::Mat(pCodecCtx->height * 3 / 2, pCodecCtx->width, CV_8UC1, pFrameYUV->data[0]);

调用detect_face函数对视频帧进行人脸检测，得到经过处理后的视频帧

frameMat = detect_face(frameMat, pts);

将视频帧传递给SDL，通过SDL进行播放

SDL_UpdateTexture(sdlTexture, NULL, frameMat.data, frameMat.step);
SDL_RenderClear(sdlRenderer);
SDL_RenderCopy(sdlRenderer, sdlTexture, NULL, &sdlRect_1);
SDL_RenderPresent(sdlRenderer);

需要注意的地方是在ffmpeg，opencv和sdl之间进行图像数据的传递时，三者之间的图像数据格式。必要时需要进行图像格式转换，确保图像数据被正确的处理，否则会出现视频无法正常播放或者视频颜色无法正常显示的问题。

播放器的最新完整源码：https://github.com/canaconZion/streaming-practice/tree/main/opencv

在windows端编译opencv过程稍微有点繁琐，有空我会写一篇关于在windows端编译opencv源码的blog，帮大家避避坑

Makefile

INC_DIR = ./include
BIN_DIR = ./bin

SRC = face_detect_player.cpp
LIB = -lavutil -lavformat -lavcodec -lavutil -lswscale -lswresample \
    -lSDL2 -llibopencv_core480 -llibopencv_imgcodecs480 -lopencv_highgui480 \
    -lopencv_objdetect480 -lopencv_imgproc480

TARGET = detectPlayer
BIN_TARGET = $(BIN_DIR)/$(TARGET)

CC = g++

$(BIN_TARGET):$(SRC)
	$(CC) $(SRC) -o $(BIN_TARGET) \
		-I$(INC_DIR) \
		$(LIB)

clean:
	rm $(BIN_TARGET).exe

视频播放效果