音视频FAQ（三）：音画不同步
摘要
本文介绍了音画不同步问题的五个因素：编码和封装阶段、网络传输阶段、播放器中的处理阶段、源内容产生的问题以及转码和编辑。针对这些因素，提出了相应的解决方案，如使用标准化工具、选择强大的传输协议、自适应缓冲等。此外，介绍了第三方音视频服务商如即构的解决方案，包括优化的编解码器、动态码率调整、前向纠错和包重传等。最后，强调了开发者需要密切监控应用性能并与音视频服务提供商合作，以确保最佳的音画同步体验。
一、前言
对于音视频开发者来说，掌握排查问题的技术技巧方法是非常必要的，排查问题的技术方法也能够帮助开发者更好地了解音视频技术的原理和工作机制，从而更加深入地理解音视频开发中遇到的各种问题。
即构基于多年实时互动领域技术的沉淀和客户服务保障，我们将推出《视频直播技术FAQ》系列文章，将实时互动技术领域的常见问题和经验分享出来，同时会针对具体问题附上业务通识和常用解决方案以及案例经验，希望本系列能成为你手边的音视频通识册子，帮助到开发者们快速定位问题并找到合适的解决方案。
本系列将每周持续更新，目前已整理了以下常见问题：
- 视频卡顿
- 延时高
- 音画不同步
- 视频花屏、绿屏
- 视频黑屏
- 视频放大或黑边
- 首开慢
- 音视频流控
- 视频模糊
- 无法打开摄像头
- 音频回声
- 音量太小
- 音频噪声
- 无声
- 上下麦音量变化
在上一篇文章中，我们探讨了音视频传输过程中延时高的问题。我们首先详细介绍了延时的概念以及延时可能产生的各个环节，包括设备端延时、网络传输延时和服务器延时。我们提供了一系列排查和解决方案，如排查网络问题、核实技术栈预期延时是否一致，以及使用UDP进行音视频传输等。通过这些方法，读者可以更好地理解并解决音视频传输中延时高的问题。
但解决延时高的问题后，我们可能还会面临其他挑战。例如，音画不同步是许多开发者经常遇到的一个棘手问题。当音频和视频数据不完全同步时，使视频播放显得非常不自然，观众会有很差的观看体验。因此，了解其原因并掌握相应的解决策略显得尤为重要。
本文是《音视频技术FAQ》系列的第三篇文章。我们将深入剖析音画不同步的原因，包括硬件设备、编解码处理、网络传输等方面可能导致的不同步情况。同时，我们将提供一系列方法来识别、排查和解决音画不同步问题，以确保用户在观看音视频内容时能够获得更好的体验，并为开发者提供相应的解决方案。
二、音画不同步基本概念和表现
音画不同步：又被称为口音不同步或AV同步问题，是指在观看视频时，画面与声音之间存在明显的时间差，导致用户观感受到的打断。具体表现为：
- 先声后影：声音先于画面出现，使观众听到声音但尚未看到对应的画面。
- 先影后声：画面先于声音出现，使观众先看到画面但稍后才能听到对应的声音。
三、时间戳-音画不同步的核心影响因素
指挥棒作用： 时间戳在音视频处理中起着“指挥棒”的作用，它决定了音频和视频什么时候播放、如何播放。处理时间戳的正确性和连续性是确保音画同步，为用户提供无缝、高质量的音视频体验的关键。不准确或不连续的时间戳可能导致一系列的播放问题，其中最明显和令人困扰的便是音画不同步。
解决其他问题的基础：时间戳是解决其他音画不同步相关问题的关键。例如，网络波动导致的数据包延迟或丢失可以通过使用时间戳进行包的重新排序或补偿来解决。正确和连续的时间戳为这些操作提供了必要的信息。
与其他技术的互动：时间戳是许多音视频技术的基础，如缓冲、前向纠错、适应性流等。它们都依赖于准确和连续的时间戳来优化和同步音视频流的传输和播放。
时间戳，通常表示为“PTS”（Presentation Time Stamp），是附加到音频或视频样本上的一个标记，用于指示该样本应当在何时被呈现或播放。这意味着，不论数据是否被实时传输，播放器都可以根据时间戳来正确地同步并播放音频和视频帧。
在音视频领域，时间戳是一个至关重要的概念。音视频内容在创建、传输和播放过程中都依赖时间戳来确保同步。时间戳是与每一帧（音频或视频）相关联的标记，用来表示该帧应该在何时进行播放。理想情况下，音频和视频的时间戳应该紧密匹配，这样在播放时，声音和画面就会同步。如果处理不当，可能会导致音画不同步、帧丢失或其他相关问题。
四、音画不同步产生的原因
音画同步问题的核心在于“时间戳”。当音画不同步发生时，其背后的内在逻辑是：在音视频处理、传输或播放的某个环节，音频和视频之间的这种时间戳匹配性被破坏。这可能是由于多种原因，如网络延迟、编解码延迟、播放器处理策略、源内容问题等。
以下是关于时间戳导致音画不同步的核心原因：
- 时间戳的不准确性：如果在录制、采集、编码或封装过程中，音频和视频的时间戳不准确，那么在播放时，它们将不会同步播放。
- 时间戳的处理：在传输或流化过程中，尤其是在实时音视频通信或直播中，网络波动可能会导致部分数据包的延迟或丢失。当这些数据包包含关键的时间戳信息时，可能会导致音画不同步。
- 播放器的处理方式：播放器需要根据时间戳来解码和渲染音频和视频帧。如果播放器不能正确地解析或使用这些时间戳，或者在处理缓冲、丢包等问题时未能维护时间戳的一致性，也会导致音画不同步。
- 总之，确保音画同步的关键是在整个音视频处理链路中正确地生成、维护和使用时间戳。任何破坏时间戳一致性的因素都可能导致音画不同步。
音画不同步本质上是由于音频和视频帧的时间戳不匹配导致的，这种不匹配可能在任何音视频内容的生命周期阶段发生，从创作、传输到播放。为了修复这种不同步，通常需要在受影响的环节进行校准或同步操作，确保音频和视频帧的时间戳再次匹配。
以下是根据上述因素的一些建议和解决策略：
编码和封装阶段：
- 标准化工具：使用经过时间测试且广泛认可的编码和封装工具可以降低时间戳错误的风险。
- 封装格式选择：了解并选择适合应用场景的封装格式。例如，对于流媒体HLS可能更为合适
网络 传输：
- 强大的传输协议：使用像RTMP或WebRTC这样的协议，它们内置了对音画同步的支持。
- 前向纠错：应用前向纠错技术，减少因网络问题导致的数据包丢失。
- 适应性 流：根据网络条件调整码率和质量，减少数据包丢失和延迟。
播放器处理：
- 选择成熟播放器：成熟的播放器往往对时间戳处理有更强的容错性。
- 自适应缓冲：动态调整缓冲长度，确保流畅播放同时减少同步问题。
- 硬件加速检查：确保所使用的硬件加速器与播放器兼容，并正确处理时间戳的排序。
源内容问题：
- 校准录制设备：确保摄像机和麦克风在录制时是同步的。
- 监控录制：实时监测录制内容，以便快速发现和解决任何不同步问题。
转码和编辑：
- 非破坏性编辑：选择可以非破坏性处理音视频的编辑软件，避免改变原始时间戳。
- 标准转码工具：与编码和封装阶段一样，选择经过验证的转码工具。
确保音画同步是一个复杂的任务，涉及整个音视频处理链路的多个阶段。不过，通过理解可能的问题来源并采用恰当的技术策略，可以最大程度地减少或消除音画不同步问题。
五、音画不同步解决方案
下面我们将针对每一个阶段影响音画不同步因素进行拆解，并根据不同因素提供一些建议和解决策略，处理时间戳的正确性和连续性是关键。
原因1：编码和封装阶段产生的音画不同步问题
产生原因：
- 生成时间戳的不准确性：在录制、编码或封装过程中，如果源设备或软件没有正确生成时间戳，可能导致同步问题。
- 封装格式：不同的封装格式如MP4, MKV, TS等处理时间戳的方式可能会有所不同，如果不当可能会引入不同步。
解决方案：
- 标准化工具：使用经过时间测试且广泛认可的编码和封装工具可以降低时间戳错误的风险。如FFmpeg、第三方音视频厂商的编解码工具：即构。
- 封装格式选择：了解并选择适合应用场景的封装格式。例如，对于流媒体，MPEG-DASH或HLS可能更为合适。
原因2：网络传输阶段产生的音画不同步问题
产生原因：
- 数据包的丢失：在网络不稳定的情况下，音频或视频数据包可能丢失，导致播放器收到的时间戳信息不连续。
- 数据包的延迟：网络波动或拥塞可能导致音频或视频数据包延迟，导致时间戳在播放时不连续。
- 重传机制：为了弥补丢失的数据包，某些协议可能会重新发送数据包，这可能会导致时间戳的乱序或重复。
解决方案：
- 强大的传输协议：使用开源协议RTMP或WebRTC这样的协议，它们内置了对音画同步的支持。
- 前向纠错：应用前向纠错技术，减少因网络问题导致的数据包丢失。
- 适应性流：根据网络条件调整码率和质量，减少数据包丢失和延迟。
原因3：播放器中的处理阶段产生的音画不同步问题
产生原因：
- 缓冲策略：播放器为了提供流畅的播放体验，可能会缓存一定量的音视频数据，这可能会影响音画的同步。
- 错误的时间戳解析：播放器在解析音视频流的时间戳时，可能由于编码、封装或其他问题而出现错误。
- 硬件加速：某些硬件加速解码器在处理音视频流时，可能不完全遵循标准的时间戳处理逻辑，导致不同步。
解决方案：
- 选择成熟播放器：成熟的播放器往往对时间戳处理有更强的容错性。
- 自适应缓冲：动态调整缓冲长度，确保流畅播放同时减少同步问题。
- 硬件加速检查：确保所使用的硬件加速器与播放器兼容，并正确处理时间戳。
原因4：源内容产生的音画不同步问题
产生原因：
- 录制时的不同步：如果在录制过程中音视频源本身就存在不同步问题，那么即使时间戳是准确的，播放时仍会出现音画不同步的现象。
解决方案：
- 校准录制设备：确保摄像机和麦克风在录制时是同步的。
- 监控录制：实时监测录制内容，以便快速发现和解决任何不同步问题。
原因5：转码和编辑
产生原因：
- 在后期编辑或转码过程中，如果音视频轨道被分离并且分别处理，可能会导致时间戳的不一致。
- 转码工具或编辑软件可能会对原始的时间戳进行修改或重新生成，如果处理不当，可能会引入不同步问题。
解决方案：
- 非破坏性编辑：选择可以非破坏性处理音视频的编辑软件，避免改变原始时间戳。
- 标准转码工具：与编码和封装阶段一样，选择经过验证的转码工具。
考虑到上述因素，维持音画同步需要在整个音视频处理链路中对时间戳进行持续、准确的管理和维护。
六、音视频厂商解决方案-音画不同步问题
当我们使用第三方音视频服务，如ZEGO即构( https://www.zego.im/)
来搭建音视频应用时，许多与音画同步相关的问题实际上已经被该服务处理或优化了。第三方服务通常具有专门的团队和技术来应对这类问题，并在其SDK和平台中实现了多种解决策略。即构音视频SDK的核心策略是保持时间戳传递正确， 下面为大家介绍即构等音视频厂商解决音画不同步问题的解决策略，以即构为例操作步骤如下：
1 问题排查
- 如果使用了自定义视频采集，请检查自定义视频采集的时间戳是否正确，尤其要检查时间戳的单位是否正确（SDK 使用 Unix 标准时间戳，单位为毫秒）。ZEGO SDK 内部会根据您提供的采集时间戳进行音画同步。
- 如果使用了虚拟摄像头采集（比如XX直播助手），由于虚拟摄像头的采集延迟可能存在过大问题，而 ZEGO SDK 是无法获取到这种延迟的，可能存在音画不同步的问题。针对这种情况，您可以在即构官网与 ZEGO 技术支持联系，技术支持可在分析确认后，通过引擎进阶配置进行修正。
2 使用 星图 监控质量
使用 ZEGO管理控制台中的星图，对音视频通话的质量进行跟踪。即构ZEGO星图平台提供全链路音视频质量监测，含问题定位诊断、洞察质量与体验、业务经营分析、实时监控告警等核心模块，提供丰富的大盘数据帮助开发者多维度全方位监控业务运转。
3 技术策略
ZEGO即构
作为一家提供实时音视频技术的公司，ZEGO RTC SDK 有许多先进的技术策略来提供高质量的音视频传输。
- 优化的编解码器：即构和其他音视频厂商通常会集成或优化业界标准的编解码器，确保时间戳的准确生成和解码。
- 动态码率调整：针对网络条件不断变化的情况，即构的SDK会动态调整码率，以确保音视频数据的连续性，并最小化数据包的丢失或延迟。
- 前向纠错与包重传：为了弥补网络传输中的数据丢失，即构等服务实现了前向纠错和数据包重传机制，这有助于恢复音画同步。
- 分层编码和大小流策略： 即构的分层编码和大小流策略，发送端发送不同分辨率的流，根据网络状况动态选择哪个流进行播放，确保视频的流畅性同时也有助于音画同步。
- 智能路由与多路径传输：为了最小化网络延迟和丢包，即构可能使用其云服务进行智能路由或实现多路径传输。
七、结语
使用如即构这样的第三方音视频服务，开发者可以大大简化音画同步的问题处理。这些服务在其技术和平台上实施了多种策略和优化，从而为最终用户提供了优质的音视频体验。然而，尽管有了这些高级的解决方案，开发者仍然需要密切监控其应用的性能，并与音视频服务提供商合作，以确保最佳的音画同步体验。
关于 音画不同步 的问题的排查和解决方案就介绍到这里了，在下一篇文章中，我们将深入探讨视频花屏、绿屏这个话题。
