音视频测试点

这类测试由于可以使用很多全参考的工具（如PEAQ、PEVQ等）
音频知识

（基础篇）

了解术语：采样率、声道、码率、噪声抑制（NS）、回声抵消（EC）、增益控制（GC）、信噪比

了解CODEC：语音类CODEC、音乐类CODEC，以及他们之间的应用范围及区别

（进阶篇）

了解采样定理、心理声学模型、傅里叶变换、频谱

视频知识

（基础篇）

了解术语：分辨率、颜色空间（RGB、YUV等）、帧率、码率

（进阶篇）

了解人眼视觉系统特性，了解视频编码原理，了解帧类型（I帧、P帧、B帧）及参考关系

网络知识

（基础篇）

了解损伤类型：丢包（连续丢包、随机丢包；固有丢包、拥塞丢包）、延时、抖动

（进阶篇）

了解丢包恢复策略（FEC、重传）及其优缺点，了解Jitter Buffer及其影响，了解实时带宽预测算法
Jitter Buffer控制机制能够适应各种网络抖动和异常情况，从而保证声音和画面的流畅播放。

评测知识

无参考评估、全参考评估（PESQ、POLQA、PEAQ、PSNR、SSIM、PEVQ等）、MOS

其他

了解一些摄影相关的知识（例如快门、光圈、感光度），了解一些平台音视频相关的API（采集和渲染）

Q&A

Q：清晰度高指的是分辨率高吗？

A：这个估计是很多非音视频专业的同学常常会搞混的两个概念。我这里先给出答案：分辨率确实会影响清晰度，但是两者没有绝对的关系。为什么这么说呢？抛开采集因素（例如摄像头没对焦）之外，这里还涉及一个因素：码率。我先假设这里大家讲的不是无损视频，那么必然涉及到编码。如果编码码率低，就算分辨率再高，单帧质量也会由于各种块效应显得很“脏”，就更不用提清晰度了。

 

Q：采样率对音质有什么影响？

A：首先要了解采样定理，即采样率必须高于输入信号最高频率的2倍，这样才能无失真地恢复原始信号或完整地保留信息。也就是说，8kHz的采样率只能表示0~4kHz频率的声音信号，而48kHz能够表示0~24kHz频率的声音信号。所以，如果要表示所有人耳能听到的所有声音（频率范围20~20kHz），就必须使用40kHz以上的采样率（常见的是44.1kHz和48kHz）。当然，采样率高了，意味着数据量就大了，编码后的码率也就高了。所以选择什么采样率，跟你的应用对高频的需求有多大。例如电话这种应用，目的是用于人与人的沟通，而人类的发声范围是100~3400Hz，所以8kHz基本上就能满足。QQ音视频用的是16kHz采样率，因为用户在满足沟通之余，还需要一定的所谓的真实感。

这个采样定理也可以用在视频上，比如上面所说的分辨率，实际上就是空间采样率，分辨率越高，能够表示的空间频率越大，也就是说可以表示更加复杂的纹理，所以一般情况下清晰度也就上去了。

语音通话的测试点：

（1）回声

回声现象指的是用户在语音通话时听到自己的声音（有一定延时）。

在传统的PC上，用户通常带上耳麦，一般不存在回声问题。

而在手机端通话时，通常时外放语音（听筒或扬声器），回声问题就变得比较突出。

因此，语音引擎会做相应的回声消除处理。

 

（2）噪音

语音发送方由于背景噪音或手机设备原因，在语音中会夹杂噪杂声。

语音引擎会做降噪处理，尽可能地降低噪音，使声音保持清晰。

 

（3）延时

语音在网络传输过程或者做抖动缓冲处理时，会产生一定的延时。

一个好的引擎应该尽可能地降低延时。

 

（4）音质

比如是否保持了说话人原有的声调，声音是否清晰圆润。

 

（5）网络带宽占用

语音传输占用的带宽不应过大，否则在移动网络条件差的区域会出现问题。

 

（6）CPU占用

CPU占用应尽可能小，以适应硬件性能不太好的中低端手机。

 

（7）安装包大小

尽可能降低安装包的大小。如裁剪不必要的功能。

 

视频通话测试点：

（1）清晰度

视频应尽量避免或减少马赛克的出现，图像变化区域应减少模糊度。

 

（2）流畅度

实际显示帧率不能过低，否则会出现卡顿现象。

 

（3）延时

在视频码流过大或网络带宽差的情况下，可能会出现较大的延时。

引擎可通过修改参数，减少延时的时间长度。

 

（4）拖影

图像变化剧烈时，可能会出现明显的拖影现象。

好的视频引擎应尽量减少拖影现象的产生。

 

（5）音视频同步

声音和说话人的嘴唇动作应尽量保持同步，减少视频落后时间。

 

（6）网络带宽占用

视频占用的带宽明显高于语音，因此这一块应尽量优化，否则对视频效果的影响比较大。

 

（7）CPU占用

同样，视频的CPU占用也明显大于语音，尤其是编解码和图像处理会消耗较多的CPU。

这一块的优化也同样很重要。

 

（8）安装包大小

同语音部分，安装包越小越好，有必要时做裁剪。

 

由于音视频的测试主观性比较重，在测试时建议：

（1）盲测

在同等条件下，同时让评估人体验同类型的多款产品（包括coco），

但不要告诉他们产品的名字，然后让他们对不同产品进行比较。

 

（2）测试者越多越好

由于主观性，不同的人有不同的感受。

因此尽量增加测试者的数量，让他们对不同测试点打分，然后取平均值。

 

（3）各种环境

在多种典型的通话环境中做测试（包括安静的和噪杂的环境）。

PC 端的采集也跟各种摄像头驱动有关，推荐使用目前市面上最好用的 PC 端开源免费软件 OBS。

音视频测试工具介绍：

1、ffmpeg
下载地址： https://ffmpeg.org/download.html

2、pc端开源推流软件OBS
https://obsproject.com/