pygame播放视频并实现音视频同步

一、前言

在我接触pygame时最新的pygame已经不支持movie模块，这就导致在pygame播放视频变成一个问题，网上搜了下解决方案有两个：

一是使用opencv播放视频，再结合pygame.mixer来播放音频

二是使用moviepy播放视频，再结合pygame.mixer播放音频

上述两个方案其实都是先将mp4的视频分离成“画面帧”和“mp3音频”，所谓的播放实际上是不停地在切换“画面帧”，同时播放音频，最终实现音视频的同时播放。

但上述两个方案都存在“音画同步”的问题，因为无论是opencv还是moviepy都只负责将视频切片成帧，播放则是pygame自己在执行一个while循环来不停切换界面上展示出来的图片帧，这也就导致while循环很快就将帧播放完毕，而音频则还按着原有节奏缓慢播放。

解决是在while循环中加入合适的延时同时根据当前视频播放进度来设置音频的播放起点以实现同步，但这个方案据我实践在加入延时后就实现了较好的音画同步效果不知道为啥还要去设置音频的播放起点，另外在设置音频播放起点时一直提示错误也不知道为何，所以我这里提供两个方案：

方案一：在while循环中加入延时，短视频测试效果还行

方案二：根据音频的播放节奏来决定视频帧的播放节奏，这样音画肯定是同步的

我选择使用moviepy来做，因为moviepy从mp4中分离mp3比较简单。

 

二、方案一

在项目的目录下新建videos目录，并放入一个测试使用的mp4文件test.mp4

上述代码实际上是将整个游戏的帧率设置成与视频一致，这样可能存在一些隐患（直觉）。

 

三、方案二

代码如下：

上述代码的逻辑如下：

1、通过“pygame.mixer.music.get_pos()”获取当前音频的播放进度

2、通过音频播放进度除以视频的总时长，得到音频播放的百分比进度（音画同步的话，音频百分比进度就应该跟视频百分比进度一致）

3、百分比进度乘以视频总帧数可得到当前应当播放哪一个视频帧

4、再判断一下当前实际播放的帧是否已超过了理论应该播放的视频帧（是的话就跳过当前帧的播放）

注意音频播放结束或视频帧播放结束都要结束视频的播放。

 

四、总结

本篇提供了pygame播放视频的两个方案，第一个方案是网上找的现成的，第二个方案则是参考了opencv（主流方案）自己逆向思维做的，还未经过实际验证。