Webrtc audio

整体理解

在 WebRTC 中，Call 是peer connection 的。
为 WebRTC Call 注入的 AudioState 来自于全局的 MediaEngine 的 VoiceEngine。
AudioState 是全局的，而 Call 则是 connection 内部的。

创建接受者 WebRtcAudioReceiveStream

WebRTC 应用需要起一个专门的专门的连接，用于接收媒体协商信息。在收到媒体协商信息之后，则将媒体协商信息进行层层传递及处理.

BaseChannel::SetRemoteContent   // 设置远端内容
WebRtcVoiceMediaChannel::AddRecvStream()  //最终执行的
Call:: CreateAudioReceiveStream  //Call 创建

网络包到播放前

  • 从网络收到 UDP 包, PhysicalSocketServer::Wait() BaseChannel::OnPacketReceived
  • BaseChannel::ProcessPacket 到媒体引擎

根据 RTP 包的 ssrc 派发进不同的 channel，ACM receiver 的处理，一直到最终插入 NetEq 的缓冲区。在 NetEq 中将会完成数据包的重排序，网络对抗，音频的解码等处理操作。

创建发送者 AudioSendStream

  • BaseChannel::SetLocalContent
  • webrtc_voice_engine:: WebRtcAudioSendStream
  • Call::CreateAudioSendStream

网络包发送

  • 编码线程
  • ChannelSend::ProcessAndEncodeAudio
  • PacedSender:: InsertPacket // PacedSender有生产消费模型, 定时器消费插入的数据
  • BaseChannel::SendPacket

posted on 2022-12-26 09:26  WillingCPP  阅读(62)  评论(0)  编辑  收藏  举报

导航