(一)音视频基础知识
直播场景的音视频数据流程:
主播端:
graph LR
A(采集) --> B(美声 美颜) --> C(编码) --> D{多用途}
D -->E(封rtmp包) --> F(向CDN推流)
D -->G(写入mp4文件)
观众端:
graph LR
A(从CDN拉流) --> B(拆rtmp包) --> C{多用途}
C -->D(解码) --> E(播放)
C -->F(写入mp4文件)
音频编码标准:Opus、AAC
音频编码实现:libfdk-aac
音频文件封装:mp3、aac
视频编码标准:H.264、H.265、vp8、vp9、av1、av2
视频编码实现:x264
视频文件封装:mp4、mkv、avi
音视频传输协议:rtp、rtcp、rtmp、rtsp、webrtc
客户端解决方案:ffmpeg、directshow、gstream
服务器解决方案:webrtc、mediasoup、srs