ACTK：相关记录

ACTK项目说明

待定

音视频格式

【编码格式调研】
ISO/ IEC （国际标准化组织和国际电工委员会）提出的音视频标准（包含音频和视频）：

• MPEG-1 （ ISO/ IEC 11172）
• MPEG-2 （ISO/ IEC 13818）
• MPEG-4 （ISO/ IEC 14496）

ITU- T （国际电信联盟的电信标准化部门， 以前的 CCITT）提出的标准：

• 视频编码格式：
  • H. 261
  • H. 262
  • H. 263 和 2022-07-26 09:44:47 星期二H. 263 + （H. 263 第 2 版）
  • H. 26L
  • H. 264
• 音频编码格式：
  • G. 723. 1
  • G. 729

除此之外， 还有 SMPTE 开发的视频编码器 1 号 （VC-1）和视频编码器 2 号 （VC-2）， 微软的Windows 媒体视频 9 （Windows Media Video 9）， On 2 Technology 公司的 VP6 和 VP7， BBC 的 Dirac， Real Networks 公司的 Real Video 9 和 Real Video 10 也都是流行于互联网和个人计算机上的视频标准

现在主流的封装格式支持的音视频编码标配是 H264+AAC ，其中像TS、RTP、FLV、MP4都支持音频的AAC编码方式。

【ACTK 格式选择】
第一选择：
编码格式：H264 + AAC （ITU-T H.264和MPEG-4 AVC其实就是一个标准）
流媒体格式：ts，flv，mp4

备选方案：
编码格式：mpeg4 + pcm

ACTK 内部音频帧格式详记

• 采样率：16000
• sample_fmt：AV_SAMPLE_FMT_FLTP ///< float, planar
• 通道格式类型channel_layout：输入layout
• 通道数channels：输入通道数（和通道类型可以互相转化）
• 采样点数nb_samples:根据输入计算 nb_samples = av_rescale_rnd(pFrame->nb_samples, pFrame_new->sample_rate, pFrame->sample_rate, AV_ROUND_UP)

ACTK 内部视频帧格式详记

ffmpeg格式：AV_PIX_FMT_BGRA

ACTK 延迟测量

video
解码一帧的时间：5——10ms 左右
push一帧（包含解码）：15——50ms 左右

audio
decode time：2——5ms
push time：10ms左右

ACTK 音频算法数据格式

无符号 16位整型 u_int16t