【音视频】3A算法

一、分类 + 知识点

• 噪声抑制（NS）：将噪声和人声分成2个频道处理，实现噪声抑制，人声增强。

1. 学习链接：http://home.eeworld.com.cn/my/space-uid-238800-blogid-32800.html

2. 直播间关于噪声的问题：2台手机在同一个直播间，靠近会造成嘈杂声音大。属于近距离通话、录音噪声问题。

3. 解决办法：2个麦克风，分别收集，修改底层算法（使用的是什么算法）

4. 常见问题：直播房间里的嘉宾声音小的问题，可能是在降低噪音的同时连带人声也一块衰减了

• 回声抵消（EC）：声学回声、线路回声

1. 学习链接： https://blog.csdn.net/haima1998/article/details/72676702

2. 声学回声形成原因：扬声器的声音反馈到麦克风引起，接受者房间的的声音空间反射，形成回声重新从麦克风传入，叠加了新的声音（需要在接受者房间应用回音抵消模块）

3. 线路回声形成原因：物理电子线路的二四线匹配耦合引起的，由于电路存在不匹配的问题，会有一部分信号被反馈回来，形成回音。

4. 解决办法：在发送时，把不需要的回音从语音流中去掉。通过声音源，进行参数处理，消除

5. 常见问题：混合的声音是很难分离，声音源与远端参考信号不完全一样，只是相似度高。通过自适应滤波器进行数学处理。

• 增益控制（GC）：未保持接收机当输出端的电压或功率基本保持不变或者恒定

1. 学习链接： https://blog.csdn.net/wordwarwordwar/article/details/79539098

2. 原理：

   1. 当输入信号很弱时，接收机的增益大，自动增益电路不起作用
   2. 当输入信号很强时，自动增益电路控制，使接收机当增益减小

3. AGC电路（算法）工作原理

   1. 响度增益因子的确定
   2. 把响度增益因子映射到等响度曲线上，确定最终各频率的增益权重。

4. 新一代引擎：原有的线性滤波器和 NLP 上的优化外，还加入了自研的双讲检测和 Noise Injection，进一步的提升了AEC在更多场景下的效果。

二、硬件回声消除

1. 区别：走系统的回声消除

2. 特点

   1. 得支持通话模式

   2. 一般手机都支持，系统在设定了固定的距离，效果最好

   3. 不可升级

三、软件回声消除

1. 走webRTC的回声消除

2. 特点

   1. webRTC会处理一个最优的距离

   2. webRTC升级迭代，会优化这个回声

   3. 自研可定制

      "audio": {
      "device_input": 2,
      "aec_mode": -1,
      "agc_mode": -1,
      "anc_mode": -1
      },

3. 效果：一般软件回声消除效果会比硬件回声消除效果好，但跟根据机型特殊情况

 

四、opensl es

定义：嵌入式跨平台免费的音频处理库。简单说麦克风的采集类型

学习地址：https://blog.csdn.net/ywl5320/article/details/78503768