音视频技术应用(16)- 调节x264编码器, 控制编码速度和质量
有时候需要根据实际情况对x264编码器进行实际的调节，以达到编码速度和视频质量的平衡，FFmpeg提供了一系列参数方便我们直接去设定：
1. preset 参数
主要用于调节编码速度和质量的平衡，其可选参数如下：
ultrafast、superfast、veryfast、faster、fast、medium、slow、slower、veryslow、placebo
从左到右代表编码速度的快慢，越慢代表视频质量越好，如果要追求好的质量可以选择靠右的参数，如果要追求较快的速度可以选择靠左的参数；
2. tune
主要用于调节视频类型、对视觉效果进行优化，设定此参数，方便在编码过程中, 根据不同的视频类型选择对应的特征算法，做不同的优化处理，以达到最好的效果。其可选参数如下：
- film: 电影类型。电影中画面的人物或自然场景颜色比较丰富，光影变化大，根据这样的场景提供的一套优化方法；
- animation: 动画。特指普通动画,非三维动画，普通的动画中会存在颜色块，或者整片颜色，它的光影变化不大；
- grain: 需要保留大量的颗粒效果的场景，比如像“我的世界”那种包含大量颗粒效果的视频类型；
- stillimage: 静态图像编码时使用；比如视频相册这种，只需要一个切换过程，其它图片都是静止的；
- fastdecode: 可以快速解码的参数；
- zerolatency: 零延时，用在需要非常低的延迟的情况下，比如电视电话会议的编码。注意不能设置B帧。
还有一些具体的参数，详见： libavcodec\libx264.c ， 里面定义了具体支持的所有参数类型，以及各种参数的说明和默认值等：
下面使用代码实际演示一下设置以上两种参数达到的最终效果：
1. 使用默认的x264编码器参数编码视频：
#include <iostream> #include <fstream> using namespace std; extern "C" { // 指定函数是C语言函数，以C语言的方式去编译 #include <libavcodec/avcodec.h> #include <libavutil/opt.h> } // 以预处理指令的方式导入库 #pragma comment(lib, "avcodec.lib") #pragma comment(lib, "avutil.lib") int main(int argc, char *argv[]) { string filename = "400_300_25"; AVCodecID codec_id = AV_CODEC_ID_H264; if (argc > 1) { string codec = argv[1]; if (codec == "h265" || codec == "hevc") { codec_id = AV_CODEC_ID_HEVC; } } if (codec_id == AV_CODEC_ID_H264) { filename += ".h264"; } else if (codec_id == AV_CODEC_ID_HEVC) { filename += ".h265"; } ofstream ofs; ofs.open(filename, ios::binary); // 1. 查找编码器 AV_CODEC_ID_H264(h264) AV_CODEC_ID_HEVC(h265) auto codec = avcodec_find_encoder(codec_id); if (!codec) { cerr << "codec not found" << endl; return -1; } // 2. 创建上下文 auto c = avcodec_alloc_context3(codec); if (!c) { cerr << "avcodec_alloc_context3 failed" << endl; return -1; } // 3. 设定编码器的上下文参数 c->width = 400; // 视频帧的宽度 c->height = 300; // 视频帧的高度 c->time_base = { 1, 25 }; // 时间基数，即时间戳的显示单位，可以认为是1秒内显示25帧 c->pix_fmt = AV_PIX_FMT_YUV420P; // 指定源数据的像素格式，跟编码格式有关，如果编码格式是h264, 这里就不能指定为RGBA c->thread_count = 16; // 编码线程数，可以通过调用系统接口获取CPU的核心数量 // 4. 打开编码上下文 int re = avcodec_open2(c, codec, nullptr); if (re != 0) { char buf[1024] = { 0 }; av_strerror(re, buf, sizeof(buf) - 1); cerr << "avcodec_open2 failed" << buf << endl; return -1; } cout << "avcodec_open2 success" << endl; // 创建AVFrame空间，用于表示一帧数据 auto frame = av_frame_alloc(); frame->width = c->width; frame->height = c->height; frame->format = c->pix_fmt; re = av_frame_get_buffer(frame, 0); if (re != 0) { char buf[1024] = {0}; av_strerror(re, buf, sizeof(buf) - 1); cerr << "av_frame_get_buffer() failed" << endl; return -1; } auto pkt = av_packet_alloc(); // 创建一个10s的视频，共250帧 for (int i = 0; i < 250; i++) { // 生成一帧图像 每帧数据都不同 // Y for (int y = 0; y < frame->height; y++) { for (int x = 0; x < frame->width; x++) { frame->data[0][y * frame->linesize[0] + x] = x + y + i * 3; } } // UV for (int y = 0; y < frame->height / 2; y++) { for (int x = 0; x < frame->width / 2; x++) { frame->data[1][y * frame->linesize[1] + x] = 128 + y + i * 2; frame->data[2][y * frame->linesize[2] + x] = 64 + x + i * 5; } } // 显示的时间 frame->pts = i; re = avcodec_send_frame(c, frame); if (re != 0) { cerr << "avcodec_send_frame() failed" << endl; break; } // >=0 表示有数据返回，编码一个AVFrame 可能会返回多个AVPacket while (re >= 0) { // 接收压缩帧 一般前几次调用会返回空的 (缓冲，立即返回，编码未完成) // 编码是在独立的线程中完成的 // 每次调用会重新分配pkt的数据空间，并改变内部的指针指向 re = avcodec_receive_packet(c, pkt); if (re == AVERROR(EAGAIN) || re == AVERROR_EOF) break; if (re < 0) { char buf[1024] = { 0 }; av_strerror(re, buf, sizeof(buf) - 1); cerr << "avcodec_receive_packet() failed" << endl; return -1; } cout << pkt->size << " " << flush; // 写入编码后的压缩数据 ofs.write((char *)pkt->data, pkt->size); // 注意 一定要调用 av_packet_unref() 删除已申请的数据空间，若不删除，下次还会重新申请，这样会造成内存泄漏 av_packet_unref(pkt); } } // 释放AVPacket av_packet_free(&pkt); // 释放AVFrame av_frame_free(&frame); // 释放上下文 avcodec_free_context(&c); }
使用Bitrate Viewer 打开生成的h264文件：
可以看到，码率基本维持在 163kbps, 下面指定编码器参数再来测试下，
修改上述code，设定preset 和 tune, 添加红色部分的代码：
#include <iostream> #include <fstream> using namespace std; extern "C" { // 指定函数是C语言函数，以C语言的方式去编译 #include <libavcodec/avcodec.h> #include <libavutil/opt.h> } // 以预处理指令的方式导入库 #pragma comment(lib, "avcodec.lib") #pragma comment(lib, "avutil.lib") int main(int argc, char* argv[]) { string filename = "400_300_25_preset"; AVCodecID codec_id = AV_CODEC_ID_H264; if (argc > 1) { string codec = argv[1]; if (codec == "h265" || codec == "hevc") { codec_id = AV_CODEC_ID_HEVC; } } if (codec_id == AV_CODEC_ID_H264) { filename += ".h264"; } else if (codec_id == AV_CODEC_ID_HEVC) { filename += ".h265"; } ofstream ofs; ofs.open(filename, ios::binary); // 1. 查找编码器 AV_CODEC_ID_H264(h264) AV_CODEC_ID_HEVC(h265) auto codec = avcodec_find_encoder(codec_id); if (!codec) { cerr << "codec not found" << endl; return -1; } // 2. 创建上下文 auto c = avcodec_alloc_context3(codec); if (!c) { cerr << "avcodec_alloc_context3 failed" << endl; return -1; } // 3. 设定编码器的上下文参数 c->width = 400; // 视频帧的宽度 c->height = 300; // 视频帧的高度 c->time_base = { 1, 25 }; // 时间基数，即时间戳的显示单位，可以认为是1秒内显示25帧 c->pix_fmt = AV_PIX_FMT_YUV420P; // 指定源数据的像素格式，跟编码格式有关，如果编码格式是h264, 这里就不能指定为RGBA c->thread_count = 16; // 编码线程数，可以通过调用系统接口获取CPU的核心数量 // 设置编码器参数 c->max_b_frames = 0; // 将B帧个数设置为0 // 调节编码速度(这里选择的是最快) int re = av_opt_set(c->priv_data, "preset", "ultrafast", 0); if (re != 0) { cout << "preset failed" << endl; return -1; } // 调整视频的类型 这里选择零延时 re = av_opt_set(c->priv_data, "tune", "zerolatency", 0); if (re != 0) { cout << "tune failed" << endl; return -1; } // 4. 打开编码上下文 re = avcodec_open2(c, codec, nullptr); if (re != 0) { char buf[1024] = { 0 }; av_strerror(re, buf, sizeof(buf) - 1); cerr << "avcodec_open2 failed" << buf << endl; return -1; } cout << "avcodec_open2 success" << endl; // 创建AVFrame空间，用于表示一帧数据 auto frame = av_frame_alloc(); frame->width = c->width; frame->height = c->height; frame->format = c->pix_fmt; re = av_frame_get_buffer(frame, 0); if (re != 0) { char buf[1024] = { 0 }; av_strerror(re, buf, sizeof(buf) - 1); cerr << "av_frame_get_buffer() failed" << endl; return -1; } auto pkt = av_packet_alloc(); // 创建一个10s的视频，共250帧 for (int i = 0; i < 250; i++) { // 生成一帧图像 每帧数据都不同 // Y for (int y = 0; y < frame->height; y++) { for (int x = 0; x < frame->width; x++) { frame->data[0][y * frame->linesize[0] + x] = x + y + i * 3; } } // UV for (int y = 0; y < frame->height / 2; y++) { for (int x = 0; x < frame->width / 2; x++) { frame->data[1][y * frame->linesize[1] + x] = 128 + y + i * 2; frame->data[2][y * frame->linesize[2] + x] = 64 + x + i * 5; } } // 显示的时间 frame->pts = i; re = avcodec_send_frame(c, frame); if (re != 0) { cerr << "avcodec_send_frame() failed" << endl; break; } // >=0 表示有数据返回，编码一个AVFrame 可能会返回多个AVPacket while (re >= 0) { // 接收压缩帧 一般前几次调用会返回空的 (缓冲，立即返回，编码未完成) // 编码是在独立的线程中完成的 // 每次调用会重新分配pkt的数据空间，并改变内部的指针指向 re = avcodec_receive_packet(c, pkt); if (re == AVERROR(EAGAIN) || re == AVERROR_EOF) break; if (re < 0) { char buf[1024] = { 0 }; av_strerror(re, buf, sizeof(buf) - 1); cerr << "avcodec_receive_packet() failed" << endl; return -1; } cout << pkt->size << " " << flush; // 写入编码后的压缩数据 ofs.write((char*)pkt->data, pkt->size); // 注意 一定要调用 av_packet_unref() 删除已申请的数据空间，若不删除，下次还会重新申请，这样会造成内存泄漏 av_packet_unref(pkt); } } // 释放AVPacket av_packet_free(&pkt); // 释放AVFrame av_frame_free(&frame); // 释放上下文 avcodec_free_context(&c); }
再次查看新生成的h264文件：
可以看到，码率还是有很明显的提升的。
