ffmpeg mediacodec 硬解初探

ffmpeg mediacodec 硬解初探

1编译：

ffmpeg自3.1版本加入了android mediacodec硬解支持，解码器如图

硬件加速器如图（还不清楚硬件加速器的功能）

编译带h264_mediacodec版本的库需要开启以下选项

--enable-jni

--enable-mediacodec

--enable-decoder=h264_mediacodec

--enable-hwaccel=h264_mediacodec（不知道有什么用，还是开了）

 

2使用：

首先在JNI_OnLoad函数，或者使用解码器之前调用

av_jni_set_java_vm(vm, NULL);（位于libavcodec/jni.h）

来设置java虚拟机（反调mediacodec时会用到）

 

其次，由于h264_mediacodec解码器和h264解码器id相同所以，软解时，通过

avcodec_find_decoder（id）来寻找解码器

而想使用mediacodec硬解时，使用

avcodec_find_decoder_by_name("h264_mediacodec");寻找指定解码器

 

之后所有步骤和软解完全相同，不需要更改任何内容

 

3暂时的现象和问题：

现象：不知道是否和播放器本身架构设计和实现有关，对比h264软解和硬解，cpu使用率并没有明显下降，多数下相差不大，有一部分视频能出现5%-10%的下降

但较为明显提升的是解码速度，解码640X360分辨率时，已有明显区别（左图软解，右图硬解，数字为每一帧解码耗费时间，单位毫秒，左右两图时间并非一一对应，仅比较量级）

视频为http://ips.ifeng.com/video19.ifeng.com/video09/2015/02/28/3019136-102-008-1929.mp4

 

                               

 

 

 

解码1920X1080分辨率时，区别很大（左图软解，右图硬解，数字为每一帧解码耗费时间，单位毫秒，左右两图时间并非一一对应，仅比较量级）

视频为http://gitdown.bravovcloud.com/video/3.mp4

         

                                     

 

问题：软解出来的数据格式为YUV420P，直接使用libyuv转换即可；在我这台手机上硬解出来的数据格式为NV12

据网上博客所说，不同机器解码出来的数据格式不尽相同，这就导致解码出来后的数据，需要根据其类型来做转化，使用ffmpeg自带的转换函数非常简单通用，但是效率有待考察。

 

libyuv中包含neon加速，但是不包含通用转换函数，需要自行判断类型，而且还不包含ToRGBA的函数，主要包含ToARGB的函数，native window显示时，只支持RGBA8888，RGBX8888和RGB656，这样会在转换上增加了一些复杂度

https://www.polarxiong.com/archives/Android-MediaCodec%E8%A7%86%E9%A2%91%E6%96%87%E4%BB%B6%E7%A1%AC%E4%BB%B6%E8%A7%A3%E7%A0%81-%E9%AB%98%E6%95%88%E7%8E%87%E5%BE%97%E5%88%B0YUV%E6%A0%BC%E5%BC%8F%E5%B8%A7-%E5%BF%AB%E9%80%9F%E4%BF%9D%E5%AD%98JPEG%E5%9B%BE%E7%89%87-%E4%B8%8D%E4%BD%BF%E7%94%A8OpenGL.html

这篇博客讲述了android在api21之后，硬解指定格式的方法

附：

在libavcodec中的 mediacodec_common.c里面我找到了这个

注意ffmpeg里面也有jni.h,需要引入avcodec时加上路径，然后mk文件里面不引入到avcodec这一级目录。