python多进程中的队列数据共享问题

0x00 起

今天在写一个小东西的时候，需要控制并发量，但又不能直接调用python multiprocessing（问题会在文后提到）。于是尝试用Queue来实现。

 

最一开始的思路是这样的：

from multiprocessing import Process
from Queue import Queue


q = Queue(maxsize = 10)

# 通过web应用往队列中添加数据
def put(num):
    q.put(num)

def read():
    while True:
        print q.get()


if __name__ == '__main__':
    Process(target=read, args=())

队列的数据，是从web应用中添加过来的（上面省略了bottle的代码），开了一个进程，不断从queue中读取数据，并进行处理（省略了处理过程）。

逻辑是没错的，但是在实际测试的时候，发现一个问题。

Queue.get()函数是个默认阻塞的函数，如果队列为空，会一直等待，类似于socket.recv。在测试的时候，程序一直卡在这里，也就是说read()函数并没有读到队列中的数据。

 

0x10 承

为了解决验证这个问题，我修改了一下代码，打印相关的信息：

# encoding: utf-8
from multiprocessing import Process
from Queue import Queue


q = Queue(maxsize = 10)

# 通过web应用往队列中添加数据
def put(num):
    q.put(num)

def read():
    print q.qsize()
    # while True:
    #     print q.get()


if __name__ == '__main__':
    put(2333)
    print q.qsize()
    Process(target=read, args=()).start()

打印出来的结果是1 0。在新开的进程中的队列，果然是空的。

去查了一下资料（http://my.oschina.net/yangyanxing/blog/296052），给出的解释是：队列对象不能在父进程与子进程间通信

 

0x20 转

最后得知multiprocessing提供了Queue供调用，可完美解决这个问题。

# encoding: utf-8
from multiprocessing import Process, Queue


q = Queue(10)

# 通过web应用往队列中添加数据
def put(num):
    q.put(num)

def read():
    while True:
        print q.get()

if __name__ == '__main__':
    put(2333)
    print q.qsize()
    Process(target=read, args=()).start()

0x30 合

上面提到，在bottle中无法使用multiprocessing，稍微查了一下，给出的原因是线程中无法开进程。还没太理解。