NES 模拟器中音画同步问题

背景

模拟器是与游戏和播放器都有相似之处的系统。模拟器与游戏的相似之处，在于都需要一个采集输入--执行逻辑--然后按一定帧率（通常是 60 FPS）把画面显示出来的循环。但是模拟器又需要模拟音频设备，播放音频设备产生的声音样本，这点与播放器相似。与播放器一样，模拟器也要处理音、视频同步问题，但是模拟器的特别之处又导致它与播放器的音、视频同步问题不太一样，解决方案也不一样。

有什么问题？

考虑下面这个渲染循环，初看之下这个循环做了该做的事，好像是没有问题的。

while (keep_running) {
    next_frame_time = time_now() + 16.667;

    emu_run_one_frame();
    audio_play(emu_get_audio_samples());
    video_render(emu_get_video_frame());

    sleep_until(next_frame_time);
}

但如果你照着去实现，就会发现存在下列问题。

问题一，噪声

上面的渲染循环对于画面渲染来说可能已经够了，但是对于声音来讲就不够了。人耳是很灵敏的，声音中有一点不连贯都会被人耳察觉。由于 sleep_until 不可能像硬件一样精确，因此可能某一帧 audio_play 送出去的样本就会 “晚点”，一旦样本 “晚点” 声音就会出现不连贯，这时就会听到 “嗞嗞” 声。

为了避免不连贯，通常的做法就是多累积一些声音样本，但这样又会带来第二个问题。

问题二，画面与操作不同步

要累积足够的样本，需要提前缓存足够的帧。虽然音频不出现问题了，但是由于视频帧是提前产生的，所以玩家看到的画面就是过时的，这时玩家再进行操作就太迟了。

这里，我们也可以看到游戏主机模拟器与播放器的不同。游戏主机需要采集玩家的输入，而玩家的输入又与看到的画面有关，因此不能缓存，需要实时。

问题三，音画不同步

除了提前缓存可以避免声音不连贯，将每帧的时间间隔减小也可以避免问题，但这也是一个不可取的方法。

比如将帧间隔时间改为 16 毫秒，则视频帧率为 62.5 FPS，但是音频依然是按原速率播放的，只是噪音没有了而已。这样要不了多久，音频就会明显落后于画面。而且，由于音频样本累积的速度比实际播放速度快，待播放的样本会越来越多，内存的占用量也会慢慢变大！

解法一，修改 APU 实现

声音样本是由模拟的 APU 产生的，观察 APU 的内部结构不难发现，NES 的 APU 可以看作是一个包含 5 个振荡器的 PSG。从 NES 程序的角度看，播放音乐就是在特定的时间顺序对振荡器进行编程，使之产生相应波形。又或者说，播放音乐就是在特定的时间点调用振荡器 API，控制它产生想要的波形。

因此，可以自己实现一些振荡器，把对 APU 的控制翻译成对振荡器的 API 调用：

class APU {
    /* ... */
    void write_register(uint16_t addr, uint8_t data) {
        switch (addr) {
            case 0x4002:
                _pulse1.set_freq(/* ... */); // 根据计时器值 data 计算出频率
                break;
            /* ... */
        }
    }
private:
    PulseOscillator _pulse1, _pulse2;
};

不过，以上方案需要注意时机问题。因为模拟器一般是一帧一帧地模拟，一帧中，write_register 会被调用多次。原本的 NES 程序对 APU 的控制是很精细的，到模拟器中就会变得粗糙，只能在一帧中对 APU 进行集中式设置。

要达到原本 NES 程序那样的精细程度，需要做到可以在指定的时间点调用振荡器 API。这个时间点怎么计算呢？我们知道，NES CPU 的时钟频率是 1.789773 MHz，而 APU 的时钟频率是 CPU 的一半，约 894.8865 KHz，可以算出一个 APU 时钟周期是 1117.5 ns。如果 CPU 在 APU 时钟 c 的时候写入了 $4002 寄存器，更改了方波通道 1 的频率，那么这个更改就应该在 t0 + c * 1117.5ns 时刻生效（其中，t0 表示 APU 时钟周期 0 的真实时间）。以下是修改过的版本：

class APU {
    /* ... */
    void write_register(uint16_t addr, uint8_t data) {
        switch (addr) {
            case 0x4002:
                post_timed_task([](){
                    _pulse1.set_freq(/* ... */);
                }, now());
                break;
            /* ... */
        }
    }
private:
    unsigned long long now() const {
        return _t0 + (unsigned long long)(_elpased_cycle * 1117.5);
    }

    PulseOscillator _pulse1, _pulse2;
    unsigned long long _t0, _elapsed_cycle;
};

这个方案的缺点我认为是比优点多的，它唯一的优点可能就是没有动到渲染循环，而缺点则主要有以下两点。

首先，是需要额外的工作量。APU 的声音通道已经是振荡器了，为了播放声音，还需要再实现一套振荡器，增加了工作量。此外，post_timed_task 还牵涉到实现定时器、任务队列及多线程的一些东西。

其次，不够精确。前面提到，sleep_until 是不精确的，虽然音画是同步的，但是由于 sleep_until 的误差，会导致整个模拟是有误差的。随着时间增加，误差会越来越大，运行一段时间后，就会发现你的模拟器比市面上的流行模拟器慢很多。音乐听起来也可能不对劲，好像降了调一样。

解法二，改进渲染循环

通过前文的介绍，不难发现，问题的主要原因可以归结为 sleep_until 不精确。事实上，如果边产生样本边播放，再精确都不太够。一定得是先缓存一部分样本，然后赶在样本播放完毕前，送入新的样本。因此，只提高 sleep_until 的精度是不够的，还需要让渲染循环有某种自适应的能力，能够自动调整每帧间隔。要做到这点，可以在 sleep_until 结束后再获取一次时间。如果比预定时间早，下一帧时间可以适当延后；如果晚点，就适当提前一点。虽然思路是这个思路，但是实现上有比获取时间更靠谱的方案，就是计算播放了多少个样本。因为在一帧的时间内，模拟器可能没有产生足够的样本。以采样率 44.1 K 为例，一帧的时间内模拟器应该要产生 735 个样本，但实际上模拟器可能只产生 734 个样本。即使时间间隔弄对了，虽然只有一个样本的差别，但还是会听到恼人的噪音。

基于上面的思路，更新后的渲染循环如下：

constexpr auto sample_interval = 1e3/44100.0; // 采样间隔，毫秒

int samples_to_play = 0;
auto t0 = time_now();
auto next_frame_time = t0;

while (keep_running) {
    sleep_until(next_frame_time);

    auto now = time_now();
    auto elapsed_time = now - t0;
    auto samples_played = elapsed_time / sample_interval;

    t0 = now;

    // 结合后面，这里可以让下一帧的时间提前大概 2 个样本的时间（约 44 微秒）
    // 这样就能在样本播放完毕之前送入新的样本
    samples_to_play -= samples_played + 2;

    if (samples_to_play < -490) {
        // 延迟过于严重，魔法数 490 可以自由选择，取决怎么认定 “严重”
        samples_to_play = 0;
    }

    emu_run_one_frame();

    samples_to_play += emu_get_num_samples();

    audio_play(emu_get_samples());
    video_render(emu_get_video());

    next_frame_time = now + samples_to_play * sample_interval;
}

现在终于有一个堪用的渲染循环了，但是 sleep_until 的误差还是会带来一些问题。如果 sleep_until 的误差太大，导致帧间隔波动明显，画面的不连贯就会被人眼察觉到。sleep_until 最精确的实现方式大概就是如下的忙等，不过也看得出来，这样方式实在不优雅。

void sleep_until(double when) {
    while (time_now() < when);
}

最节约 CPU 的方式当然就是直接使用系统的 sleep，前面谈到，这种方式误差太大。讲到这里，其实一个可行的方案就呼之欲出了 -- 把这两个方案综合一下就能得到一个精度可以接受的 sleep_until 函数了。

void sleep_until(double when) {
    // 硬编码的误差值，毫秒
    constexpr auto error = 1.5;

    auto sleep_time = round(when - time_now() - error);

    if (sleep_time > 0) {
        sleep(sleep_time);
    }

    while (time_now() < when);
}

如果是在 Windows 平台，还需要额外使用 timeBeginPeriod 函数才能让 sleep 的误差更加可控。

总结

本文探讨了模拟器中的音画同步问题，分析了各个原因，并提供了相应的解决方案。如果读者朋友正在实现模拟器，遇到了同样的问题，希望能有所启发。本文提到的解法二，对于实现游戏循环也是一个参考。

当然，同样的问题不同的人会给出不同的解法。对于本文提到的问题，欢迎读者朋友在评论区留下您的见解与思考。