ffmpeg architecture（下）
ffmpeg architecture（下）
第3章-转码
TLDR；给我看代码和执行。
$ make run_transcoding
我们将跳过一些细节，但是请放心：源代码可在github上找到。
在本章中，我们将创建一个用C编写的极简代码转换器，可以使用FFmpeg / libav库（尤其是libavcodec，libavformat和libavutil）将H264编码的视频转换为H265。
只是快速回顾一下：该AVFormatContext是媒体文件格式的抽象，又名容器（例如：MKV，MP4，WEBM，TS）。的AV流表示每种类型的用于给定格式（例如：音频，视频，字幕，元数据）的数据。所述AVPacket是从所获得的压缩数据的切片AVStream可以由一个解码avcodec中：产生称为原始数据（例如AV1，H264，VP9，HEVC）AVFrame。
转码
让我们从简单的转换操作开始，然后我们可以基于此代码构建，第一步是加载输入文件。
//分配一个AVFormatContext
avfc = avformat_alloc_context（）;
//打开输入流并读取标题。
avformat_open_input（avfc，in_filename， NULL， NULL）;
//读取媒体文件的数据包以获取流信息。
avformat_find_stream_info（avfc， NULL）;
现在，我们要设置解码器，它AVFormatContext将使我们能够访问所有AVStream组件，并且对于每个组件，我们都可以获取它们AVCodec并创建特定组件AVCodecContext，最后我们可以打开给定的编解码器，以便继续进行解码处理。
所述AVCodecContext持有如比特率，帧速率，采样率，信道，高度，和许多其它有关的媒体数据的配置等。
对于（int i = 0 ; i <avfc-> nb_streams; i ++）
{
AVStream * avs = avfc-> 流 [i];
AVCodec * avc = avcodec_find_decoder（avs-> codecpar- > codec_id）;
AVCodecContext * avcc = avcodec_alloc_context3（* avc）;
avcodec_parameters_to_context（* avcc，avs-> codecpar）;
avcodec_open2（* avcc，* avc，NULL）;
}
我们还需要准备输出媒体文件以进行多路传输，我们首先为输出分配内存AVFormatContext。我们以输出格式创建每个流。为了正确打包流，我们从解码器复制编解码器参数。
我们设置标志 AV_CODEC_FLAG_GLOBAL_HEADER告诉编码器它可以使用全局头文件，最后打开输出文件进行写入并保留头文件。
avformat_alloc_output_context2（＆encoder_avfc，NULL，NULL，out_filename）;
AVStream * avs = avformat_new_stream（encoder_avfc，NULL）;
avcodec_parameters_copy（avs-> codecpar，解码器_avs-> codecpar）;
如果（encoder_avfc-> oformat-> flags和AVFMT_GLOBALHEADER）
encoder_avfc-> flags | = AV_CODEC_FLAG_GLOBAL_HEADER;
avio_open（＆encoder_avfc-> pb，编码器->文件名，AVIO_FLAG_WRITE）;
avformat_write_header（encoder- > avfc，＆muxer_opts）;
我们AVPacket从解码器获取，调整时间戳，并将数据包正确写入输出文件。即使函数av_interleaved_write_frame说“写帧”，我们仍在存储数据包。通过将流预告片写入文件中，我们完成了转换过程。
AVFrame * input_frame = av_frame_alloc（）;
AVPacket * input_packet = av_packet_alloc（）;
而（av_read_frame（decoder_avfc，input_packet）> = 0）
{
av_packet_rescale_ts（input_packet，解码器_视频_avs-> time_base，编码器 _视频_avs- > time_base）;
av_interleaved_write_frame（* avfc，input_packet）< 0））;
}
av_write_trailer（encoder_avfc）;
转码
上一节展示了一个简单的transmuxer程序，现在我们将添加对文件进行编码的功能，尤其是使它能够将视频从转换h264为h265。
在准备好解码器之后，但在安排输出媒体文件之前，我们将设置编码器。
AVStream在编码器中创建视频，avformat_new_stream- 使用
AVCodec所谓的libx265，avcodec_find_encoder_by_name AVCodecContext在创建的编解码器中创建基础，avcodec_alloc_context3- 设置转码会话的基本属性，并
- 打开编解码器，然后将参数从上下文复制到流中。
avcodec_open2和avcodec_parameters_from_context
AVRational input_framerate = av_guess_frame_rate（decoder_avfc，decoder_video_avs，NULL）;
AVStream * video_avs = avformat_new_stream（encoder_avfc，NULL）;
char * codec_name = “ libx265 ” ;
char * codec_priv_key = “ x265-params ” ;
//我们将为x265使用内部选项
// //禁用场景更改检测，然后修复
// 60帧的GOP。
char * codec_priv_value = “ keyint = 60：min-keyint = 60：scenecut = 0 ” ;
AVCodec * video_avc = avcodec_find_encoder_by_name（codec_name）;
AVCodecContext * video_avcc = avcodec_alloc_context3（video_avc）;
//编码器编解码器参数
av_opt_set（sc-> video_avcc-> priv_data，codec_priv_key，codec_priv_value， 0）;
video_avcc-> height =解码器_ctx-> height;
video_avcc-> width =解码器_ctx-> width;
video_avcc-> pix_fmt = video_avc-> pix_fmts [ 0 ];
//控制率
video_avcc-> bit_rate = 2 * 1000 * 1000 ;
video_avcc-> rc_buffer_size = 4 * 1000 * 1000 ;
video_avcc-> rc_max_rate = 2 * 1000 * 1000 ;
video_avcc-> rc_min_rate = 2.5 * 1000 * 1000 ;
//时基
video_avcc-> time_base = av_inv_q（input_framerate）;
video_avs-> time_base = sc-> video_avcc-> time_base;
avcodec_open2（sc-> video_avcc，sc-> video_avc，NULL）;
avcodec_parameters_from_context（sc-> video_avs-> codecpar，sc-> video_avcc）;
我们需要扩展解码循环以进行视频流转码：
- 将空发送
AVPacket给解码器，avcodec_send_packet - 接收未压缩的
AVFrame，avcodec_receive_frame - 开始对该原始帧进行转码，
- 发送原始帧，
avcodec_send_frame - 根据我们的编解码器接收压缩的文件
AVPacket，avcodec_receive_packet - 设置时间戳，并
av_packet_rescale_ts - 将其写入输出文件。
av_interleaved_write_frame
AVFrame * input_frame = av_frame_alloc（）;
AVPacket * input_packet = av_packet_alloc（）;
而（av_read_frame（decoder_avfc，input_packet）> = 0）
{
int响应= avcodec_send_packet（decoder_video_avcc，input_packet）;
while（响应> = 0）{
响应= avcodec_receive_frame（decoder_video_avcc，input_frame）;
if（响应== AVERROR（EAGAIN）|| response == AVERROR_EOF）{
中断 ;
} else if（response < 0）{
返回响应；
}
if（响应> = 0）{
编码（encoder_avfc，decoder_video_avs，encoder_video_avs，decoder_video_avcc，input_packet-> stream_index）;
}
av_frame_unref（input_frame）;
}
av_packet_unref（input_packet）;
}
av_write_trailer（encoder_avfc）;
//使用的函数
int 编码（AVFormatContext * avfc，AVStream * dec_video_avs，AVStream * enc_video_avs，AVCodecContext video_avcc int索引）{
AVPacket * output_packet = av_packet_alloc（）;
int response = avcodec_send_frame（video_avcc，input_frame）;
while（响应> = 0）{
响应= avcodec_receive_packet（video_avcc，output_packet）;
if（响应== AVERROR（EAGAIN）|| response == AVERROR_EOF）{
中断 ;
} else if（响应< 0）{
return - 1 ;
}
output_packet-> stream_index = index ;
output_packet-> 持续时间 = enc_video_avs-> 那么time_base。den / enc_video_avs-> time_base。num / dec_video_avs-> avg_frame_rate。num * dec_video_avs-> avg_frame_rate。巢穴 ;
av_packet_rescale_ts（output_packet，dec_video_avs-> time_base，enc_video_avs-> time_base）;
响应= av_interleaved_write_frame（avfc，output_packet）;
}
av_packet_unref（output_packet）;
av_packet_free（＆output_packet）;
返回 0 ;
}
我们将媒体流从转换h264为h265，正如预期的那样h265，媒体文件的版本小于，h264但创建的程序能够：
/ *
* H264-> H265
*音频->重混合（未触摸）
* MP4-MP4
* /
StreamingParams sp = { 0 };
sp.copy_audio = 1 ;
sp.copy_video = 0 ;
sp.video_codec = “ libx265 ”；
sp.codec_priv_key = “ x265-params ” ;
sp.codec_priv_value = “ keyint = 60：min-keyint = 60：scenecut = 0 ” ;
/ *
* H264-> H264（固定gop）
*音频->重混合（未触摸）
* MP4-MP4
* /
StreamingParams sp = { 0 };
sp.copy_audio = 1 ;
sp.copy_video = 0 ;
sp.video_codec = “ libx264 ”；
sp.codec_priv_key = “ x264参数” ;
sp.codec_priv_value = “ keyint = 60：min-keyint = 60：scenecut = 0：force-cfr = 1 ” ;
/ *
* H264-> H264（固定gop）
*音频->重混合（
未修改）* MP4- 片段MP4
* /
StreamingParams sp = { 0 };
sp.copy_audio = 1 ;
sp.copy_video = 0 ;
sp.video_codec = “ libx264 ”；
sp.codec_priv_key = “ x264参数” ;
sp.codec_priv_value = “ keyint = 60：min-keyint = 60：scenecut = 0：force-cfr = 1 ” ;
sp.muxer_opt_key = “ movflags ”；
sp.muxer_opt_value = “ frag_keyframe + empty_moov + default_base_moof ” ;
/ *
* H264-> H264（固定gop）
*音频-> AAC
* MP4-MPEG-TS
* /
StreamingParams sp = { 0 };
sp.copy_audio = 0 ;
sp.copy_video = 0 ;
sp.video_codec = “ libx264 ”；
sp.codec_priv_key = “ x264参数” ;
sp.codec_priv_value = “ keyint = 60：min-keyint = 60：scenecut = 0：force-cfr = 1 ” ;
sp.audio_codec = “ aac ” ;
sp.output_extension = “ .ts ” ;
/ * WIP：P->它不在VLC上播放，最终比特率很高
* H264-> VP9
*音频-> Vorbis
* MP4-WebM
* / // StreamingParams sp = {0}; // sp.copy_audio = 0; // sp.copy_video = 0; // sp.video_codec =“ libvpx-vp9”; // sp.audio_codec =“ libvorbis”; // sp.output_extension =“ .webm”;
现在，说实话，这是难度比我想这会是我不得不挖掘到FFmpeg的命令行的源代码和测试了很多，我觉得我失去了一些东西，因为我不得不执行force-cfr的h264工作而且我仍然看到一些警告消息，例如warning messages (forced frame type (5) at 80 was changed to frame type (3))。
人工智能芯片与自动驾驶
