ffmpeg 播放器原理
1 播放器过程
线程1 : readPackets-------》 audio_packets队列 video packets 队列
线程2: decodeAudio && play
线程3: decodeVideo---》扔到videoFrames队列里, 如果AVFrame乱序则需要排序
线程4: playVideo, 视频时钟和音频时钟比较得到delay ----》 Sleep(delay)-----》play
2. 同步过程(很重要) 时钟 Audio :
get_audio_clock(){ pts = audio_clock - (double)hw_buf_size / bytes_per_sec (没有播放的数据时间) ; return pts; } pts = (double)pFrame->reordered_opaque * av_q2d(is->pFormatCtx->streams[is->VideoStream]->time_base) // 单位秒; //更新视频内部时钟 以视频时钟为基准同步才有用 //is->video_clock = pts + av_q2d(is->pVideoCodecCtx->time_base) ; //如果是30帧率, 那么time_base 就等于 0.0333; delay = pts - is->frame_last_pts; //算出大致的延迟时间 diff = pts - get_audio_colock(); delay = diff<-thresh ? 0 diff>thresh ? 1.6*delay : delay //diff太小了 delay就小一点,diff 太大了 delay就大一点
actual_delay = delay + is->frame_timer - av_gettime()/1000000 //算出实际延时 实际延时就等于上一次的 delay -(getTimeLast - getTimeCurr)(程序运行耗时)
Sleep((int)(actual_delay * 1000 + 0.5));
3. 音频解码+播放
fill_audio(void *udata,Uint8 *stream,int len){ player->m_AudioPackQueue.packet_queue_get(player->m_TempPack,1); //从队列拿包 len1 = avcodec_decode_audio3;//解码 audio_clock = AVPacket ::pts * av_q2d(AVStream::time_base);//音频时钟 memcpy(stream...);//喂给播放器 }
2. 一些变量的含义
2.1 timebase
pFormatCtx->streams[0]->time_base: 1/90000。为什么是90000?因为mpeg的pts、dts都是以90kHz来采样的,所以采样间隔为1/90000秒。
AVPacket下的pts和dts以AVStream->time_base为单位(数值比较大)。这也很容易理解,根据mpeg的协议,压缩后或解压前的数据,pts和dts是90kHz时钟的采样值,时间间隔就是AVStream->time_base。
AVFrame里面的pkt_pts和pkt_dts是拷贝自AVPacket,同样以AVStream->time_base为单位;而pts是为输出(显示)准备的,以AVCodecContex->time_base为单位)。//FIXME
codec/decode层timebase,h264随着帧率变化例如1:25 aac根据采样率变化例如1:44100。
从上面可以看到,InputStream下的pts和dts以AV_TIME_BASE为单位(微秒),至于为什么要转化为微妙,可能是为了避免使用浮点数。
综上: streams AVPacket AVFrame 都是同样的timebase=1/90K codec/decode timebase=1/25 (随帧率变化)
如果要获得当前时钟(秒) seconds = av_q2d(timeBase) * pts;