代码改变世界

FFMpeg笔记（五） 录制小视频问题记录

2018-04-05 23:00  jiayayao  阅读(5060)  评论(0)  编辑  收藏  举报

1. YUV数据在使用avfilter scale时在特定的分辨率下UV分量不对

    由于是小视频，那么分辨率不需要太高，但是有的视频源是1080p，甚至有的是4K的，所以对视频源进行scale非常有必要。scale操作可以使用avfilter或者sws_scale完成，具体参考：

    在对视频数据进行decode后，得到了包含YUV数据的AVFrame，AVFrame中的data[0], data[1], data[2]分别表示YUV三个分量，YUV三个分量的数据量之比是4:1:1，每行的字节数分别是linesize[0], linesize[1], linesize[2]。

    假定图像长宽分别为w和h，那么Y分量字节数为w*h，linesize[0]等于w，U/V分量字节数均为0.5w*0.5h，linesize[1]等于linesize[2]等于0.5w。但是实际使用时发现，特定分辨率下scale后的UV分量显示不正常，进一步发现UV的linesize有时不等于0.5w，对此FFMpeg（avframe.h）是这么解释的：

     * @note The linesize may be larger than the size of usable data -- there
     * may be extra padding present for performance reasons.
     */
    int linesize[AV_NUM_DATA_POINTERS];

    实际上确实发现UV分量的linesize不等于0.5w，这样的话，在拷贝UV分量的时候，就需要一行一行拷贝，每行拷贝0.5w，这个问题也就解决了。

Tips：Mac下使用GLYUVPlay.app软件，导入原始的YUV数据，输入分辨率，YUV格式等信息，可以查看原始YUV数据的分量信息，对于解决问题非常有帮助。

2. PCM在使用FFMpeg的aac编码器编码时提示编码失败

    在特定的手机上，aac会编码失败，提示的是"Input contains (near) NaN/+-Inf\n"。但是很奇怪，只在特定的手机出现该问题，查了半天没有结果，看到有人说libfdk-aac库可能会解决这个问题，将fdk-aac添加进FFMpeg后，编码没有问题，但是编码出来后的数据有爆音，使用Audacity软件查看dump下的数据，确实有爆音，也就是说程序还是有问题。仔细审代码最后发现，aac编码输入的PCM数据只有一个声道的，而编码参数里写的输入为两个声道，而第二个声道的数据没有赋值，将第二个声道拷贝了输入数据后，问题就解决了。。

    总结一下，不是所有的手机都没问题，那就证明程序还是有问题。

Tips：Mac下使用Audacity软件，输入原始PCM数据的采样率、音频数据格式后，可以查看原始PCM数据波形，有无爆音等问题。

 3. 视频尺寸裁切不生效

    视频尺寸裁切时，用libavfilter的crop参数，我之前的理解，av_buffersink_get_frame出来的frame数据就变成了裁切后的尺寸，后来发现不是这样。av_buffersink_get_frame后的frame只是width, height变成了裁切尺寸的长宽，data[]指针和linesize大小都没有变。debug发现，frame的crop相关参数变了，在重新编码时，就会根据crop参数和width, height参数编码成裁切后的尺寸。

 4. 录制GIF时花屏

    按照录制视频的代码去录制GIF时发现录制后的GIF花屏，查阅资料可以，GIF的out format必须是AV_PIX_FMT_RGB8，把pixel_format改成RGB8后就OK了。

5. 对带有HE-AAC的视频编码失败

    之前一直以为服务器的视频都是LC-AAC格式的，这种格式的采样样本数nb_samples是1024个，而HE-AAC视频的nb_samples是2048个，并且FFmpeg自带的aac编码器只支持LC-AAC编码。于是不得已，只能换为fdk-aac编码器，根据文档，fdk-aac编码器两种格式的aac都支持。但是fdk-aac编码器只支持S16格式的PCM，因此对解码后得到的PCM又加了一层resample，将原来FLTP格式的PCM resample成S16格式，之后编码成功。附FFmpeg支持的音频编码器信息：

Dolby Digital: ac3
Dolby Digital Plus: eac3
MP2: libtwolame, mp2
Windows Media Audio 1: wmav1
Windows Media Audio 2: wmav2
AAC LC: libfdk_aac, aac
HE-AAC: libfdk_aac
Vorbis: libvorbis, vorbis
MP3: libmp3lame, libshine
Opus: libopus

6. 编码后视频前几帧黑屏

    原因是开启了多线程编码，但是单线程编码效率很低，这个问题还需要细研究一下。

参考资料：

1. FFMpeg学习（三） 音频处理基本概念

2. FFMpeg学习（六） 用libavfilter对视频尺寸进行裁切

3. https://trac.ffmpeg.org/wiki/Encode/HighQualityAudio