手把手FFmpeg入门——视频解码+解封装

环境：

QT５.７　　　６４位

 

目的:

将视频解码为PCM和PPM文件

 

 

基础:

有点杂,几乎不需要基础,能看英文文档就行

 

 

基本原理:

1.无非是:解协议->解封装->解码, 

这里没有协议层.

封装即各种文件格式,编码即文件内数据的存储格式

 

 

 

不到150行的代码:

#include <QDebug>

extern "C" {
#include <libavutil/imgutils.h>
#include <libavutil/samplefmt.h>
#include <libavutil/timestamp.h>
#include <libavformat/avformat.h>
}

struct Img
{
    int w, h;
    int pix_fmt;
    uint8_t *data[4];   /*假装是4字节对齐*/
    int linesize[4];

    int bufsize;
};
struct Demuxe
{
    AVFormatContext* fmtctx;
    AVCodecContext* codec_ctx;
    AVCodec* codec;
    AVStream* st;
    int st_idx;
    char *filename;
    FILE *fp;
};

static Img img;
static Demuxe audio;
static Demuxe video;
static Demuxe src;

int refcounted = 0;

int decode(AVPacket *pkt, AVFrame *frame)
{
    int ret, got_frame, decoded = pkt->size;
    if(pkt->stream_index == video.st_idx){
        ret = avcodec_decode_video2(video.codec_ctx, frame, &got_frame, pkt);
        if(ret<0) exit(1);
        if(got_frame){
            av_image_copy(img.data, img.linesize,
                          (const uint8_t**)frame->data, frame->linesize,
                          (AVPixelFormat)frame->format, frame->width, frame->height);

            fwrite(img.data[0], img.bufsize, 1, video.fp);
        }
    }else if(pkt->stream_index == audio.st_idx){
        ret = avcodec_decode_audio4(audio.codec_ctx, frame, &got_frame, pkt);

        decoded = FFMIN(pkt->size, ret);

        int size =  frame->nb_samples*av_get_bytes_per_sample((AVSampleFormat)frame->format);
        fwrite(frame->extended_data[0], size, 1, audio.fp);
    }


    if(got_frame && refcounted)
        av_frame_unref(frame);
    return decoded;/*返回解码的字节数*/
}

int construct_context(int media_type, Demuxe *dst)
{
    dst->st_idx = av_find_best_stream(src.fmtctx, (AVMediaType)media_type, -1, -1, NULL, 0);
    dst->st = src.fmtctx->streams[dst->st_idx];
    dst->codec = avcodec_find_decoder(dst->st->codecpar->codec_id);
    dst->codec_ctx = avcodec_alloc_context3(dst->codec);

    avcodec_parameters_to_context(dst->codec_ctx, dst->st->codecpar);

    AVDictionary *dict;
    av_dict_set(&dict, "refcounted", refcounted?"1":"0", 0);


    return avcodec_open2(dst->codec_ctx, dst->codec, &dict);
}


int main()
{
    int ret =-1;
    src.filename = "D:/fmt_mkv.mkv";
    audio.filename = "D:/audiomp4.pcm";
    video.filename = "D:/videomp4.ppm";

    src.fmtctx = avformat_alloc_context();
    avformat_open_input(&src.fmtctx, src.filename, NULL, NULL);
    avformat_find_stream_info(src.fmtctx, NULL);

    if(!construct_context(AVMEDIA_TYPE_VIDEO, &video)){
        video.fp = fopen(video.filename, "wb+");

        img.w = video.codec_ctx->width;
        img.h = video.codec_ctx->height;
        img.pix_fmt = video.codec_ctx->pix_fmt;
        ret = av_image_alloc(img.data, img.linesize, img.w, img.h, (AVPixelFormat)img.pix_fmt, 1);
        if(ret < 0)
            goto end;
        else
            img.bufsize = ret;
    }
    if(!construct_context(AVMEDIA_TYPE_AUDIO, &audio)){
        audio.fp = fopen(audio.filename, "wb+");
    }

    //  解码
    AVFrame *frame = av_frame_alloc();
    AVPacket *pkt = av_packet_alloc();
    qDebug() << "pkt.data=" << pkt->data << ", pkt.size=" << pkt->size;

    while(av_read_frame(src.fmtctx, pkt)>=0){
        decode(pkt, frame);
    }

    //  根据dump的格式就可以用ffplay查看数据
    av_dump_format(src.fmtctx, 0, src.filename, 0);

end:
    avformat_close_input(&src.fmtctx);
    avcodec_free_context(&audio.codec_ctx);
    avcodec_free_context(&video.codec_ctx);
    if(audio.fp)
        fclose(audio.fp);
    if(video.fp)
        fclose(video.fp);
    av_frame_free(&frame);
    av_free(img.data[0]);
}

 

 

 

注意：

1. 对于音频只能读取第一个通道的数据

2. 当启用帧的引用计数时，将拷贝decoder的缓冲区内容到frame的ref buf中，所以不用了以后一定要记得用av_frame_unref取引用

3. 文档上说必须要av_image_copy视频帧数据，因为raw格式是非字节对齐的。

因此这里猜想在ffmpeg的image里存储方式是字节对齐的，linesize和实际大小不一样。

切勿盲目手动操作img数据

4. 使用ffplay播放视频命令如下：

ffplay -f rawvideo -pix_fmt yuv420p -video_size 1280x720 D:/videomp4.ppm

ffplay -f 视频格式 -pix_fmt 像素格式 -video_size  宽x高      路径

播放音频命令：

ffplay -f   f32le          -ac     1           -ar     48000        D:/audiomp4.pcm

ffplay -f 音频格式    -ac  通道数    -ar     采样率          路径 

 

就上面这种格式的电影《东方不败》

Input #0, matroska,webm, from 'D:/fmt_mkv.mkv':

Metadata:

encoder : libebml v1.2.3 + libmatroska v1.3.0

creation_time : 2017-05-06T06:43:21.000000Z

Duration: 01:47:36.32, start: 0.000000, bitrate: 1967 kb/s

Stream #0:0: Video: h264 (High), yuv420p(progressive), 1280x720 [SAR 1:1 DAR 16:9], 24 fps, 24 tbr, 1k tbn, 48 tbc (default)

Stream #0:1: Audio: aac (LC), 48000 Hz, stereo, fltp (default)

Stream #0:2: Audio: aac (LC), 48000 Hz, stereo, fltp

 

解码以后的纯数据格式视频（166GB），音频（单通道990MB），

而h264编码下mkv文件的总大小只有1.47GB，压缩率10倍以上，可以说很nice

但解码时间也长，大约用时20min