并行运行多个python虚拟机

之前遇到一个问题，需要将场景服务这个模块拆分出来，用独立的一个线程去执行。使用独立的线程好处就是，逻辑写的可以相对简单粗暴点，不必考虑到大量的场景服务逻辑卡主线程的情况。

由于我们服务器之前是使用python作为脚本开发，而大家都知道的python有个gil，这意味着并发的线程里只有一个可以获得解释器的全局锁，从而并执行python代码。当然了python这样子也是有原因的，由于其内部使用了大量的静态变量，因此多线程环境下必须有一个线程同步的机制。结果最后选择了在服务器又再嵌入了一个（多个）lua虚拟机，把场景服务用lua来写。

 

但是，实际上我们是可以做到在一个进程内做到并行的运行多个python虚拟机的，只不过过程稍微曲折一点。基本的思想就是，重复导入多份python动态链接库，每个线程上运行完全独立的python代码。

在Linux下就可以通过dlopen运行时动态的导入一个so模块，使用dlmopen则可以重复的导入多份相同的so。dlopen：https://docs.oracle.com/cd/E23824_01/html/821-1465/dlmopen-3c.html#scrolltoc

windows下则不得不在文件系统上保存多份python.dll的实例，并且在运行时通过LoadLibrary分别导入这些dll。LoadLibrary：https://msdn.microsoft.com/zh-cn/library/windows/desktop/ms684175(v=vs.85).aspx

 

基于上述思路我大致简单实现了一下：

https://github.com/adinosaur/python-vm

有几点要说明的是：

调用Py_Initialize初始化python以及后续调用其它cpython的api必须在同一个线程内，否则在debug版的python中会报没有获得解释器锁而调用cpython api的错误，从而终止程序。

调用动态链接库里的函数这部分代码需要特别注意，虽然在熟知动态连接库使用的调用约定后（比如gcc可能是cdecl，msvc可能是stdcall），是可以将这部分代码写的十分精简通用的。但因为目前我还没做到，因此选择了保守的枚举法：）

linux下使用dlmopen导入多份libpython.so，执行时会有段错误，具体原因尚未查明。因此我的实现中在linux下也是像windows那样，在文件系统中存多份动态链接库的实例。

 

参考连接：

https://stackoverflow.com/questions/1745975/load-multiple-copies-of-a-shared-library