android使用自带MediaCodec录视频原理

android MediaCodec录视频原理

简介

使用android自带的sdk完成视频录制需要用到MediaCodec、AudioRecord、MediaMuxerd等api,sdk使用的是硬编码,理论上说速度是较快的,但是各个厂商内部实现原理不一样,肯能并不如ffmepeg软编码

  • MediaCodec 可以实现音视频的编解码
  • AudioRecord 录音api,输出的是音频裸流
  • MediaMuxer 将音视频数据合成一个文件,主要是根据通道不同向其写入数据
    至于视频数据,则是通过cramer设置预览回调previewCallback获取原始视频数据,转换后传递给MediaCodec即可

MediaCodec

使用MediaCodec进行编解码需要知道其编解码过程所使用到的组成,其由输入缓存队列(ByteBuffer数组)和输出缓存队列,编码时,先获取输入流队列,从其中找到一个空闲位置的下标index,在向这个位置写入数据,MediaCodec拿到数据编码;输出时时类似

  • mediaCodec.getInputBuffers() 获取输入流队列
  • queueInputBuffer:输入流入队列
  • dequeueInputBuffer:从输入流队列中取数据进行编码操作
  • getOutputBuffers:获取编解码之后的数据输出流队列,返回的是一个ByteBuffer数组
  • dequeueOutputBuffer:从输出队列中取出编码操作之后的数据
  • releaseOutputBuffer:处理完成,释放ByteBuffer数据

编码解码都是这个流程,主要是配置MediaCodec时,配置的是一个编码Codec就是编码,解码Codec就是解码

AudioRecord

直接录取音频原始数据流,使用前提前获取AudioRecord能接收最小的录音大小,然后初始化一个buffer至少到与这个最小值,开始录音后,就从AudioRecord读取data,送入Codec进行编码

视频数据录取

使用camera前设置视频格式,尺寸大小以及预览回调,视频格式参考我的另一篇文章YUV420可进一步了解格式,需要注意的时,camera录取的数据不能直接送入MediaCodec编码,需要对其转换一下才行,不然会出现花屏。

MediaMuxer

混合音视频组装成文件,音视频数据对应不同的Track通道,分别写入数据即可;MediaExtractor和Muxer相反,它是负责把音视频流分解成多个通道输出,分别输出各通道的数据,出来的数据也是编码过的,如果播放还需要交给MediaCodec解码在播放的

除以上谈到的录制API,Android还提供了MediaRecorder录制,MediaRecorder录制是在AudioRecord上封装了一层,录取数据是编码并形成文件的

posted @ 2019-04-18 23:02  帅气好男人_jack  阅读(119)  评论(0编辑  收藏  举报  来源