python3 multiprocessing模块下的Queue和JoinableQueue的区别

JoinableQueue比Queue多了task_done和join方法

from multiprocessing import JoinableQueue, Queue


# 用法和Queue相似
q = JoinableQueue()
q.put("ocean")  # 队列放入一个任务，内存在一个计数机制，+1
# q.put("can")  # 计数机制+1
print(q.get())
q.task_done()  # 完成一次任务，计数机制-1
q.join()  # 计数机制不为0的时候，阻塞等待计数器为0后通过

执行结果：

ocean

 

接着再看一个Queue的例子

from multiprocessing import Process, Queue


def producer(q):  # 生产
    for i in range(1, 6):
        q.put(i)  # 添加一个任务
        print("生产%s馒头" % i)


def consumer(q):  # 消费
    while 1:
        sth = q.get()
        print("消费%s馒头" % sth)


if __name__ == '__main__':
    q = Queue(4)
    p1 = Process(target=producer, args=(q, ))
    p2 = Process(target=producer, args=(q, ))
    p3 = Process(target=producer, args=(q, ))
    c1 = Process(target=consumer, args=(q, ))
    c2 = Process(target=consumer, args=(q, ))

    # 将消费者设置为守护进程，因为消费者里面是死循环
    c1.daemon = True
    c2.daemon = True

    p1.start()
    p2.start()
    p3.start()
    c1.start()
    c2.start()

    p1.join()
    p2.join()
    p3.join()
    print("stop")

执行结果：

生产1馒头
生产2馒头
生产3馒头
生产4馒头
消费1馒头
生产5馒头
消费2馒头
消费3馒头
消费4馒头
消费5馒头
生产1馒头
生产2馒头
生产3馒头
生产1馒头
消费1馒头
生产4馒头
消费2馒头
生产5馒头
消费3馒头
消费4馒头
消费5馒头
消费1馒头
消费2馒头
生产2馒头
消费3馒头
生产3馒头
消费4馒头
生产4馒头
消费5馒头
生产5馒头
stop

 

把上面的程序改为JoinableQueue后的效果

ame__ == '__main__':
    # 继承了Queue，多了两个功能，join() task_done()
    q = JoinableQueue(4)
    p1 = Process(target=producer, args=(q, ))
    p2 = Process(target=producer, args=(q, ))
    p3 = Process(target=producer, args=(q, ))
    c1 = Process(target=consumer, args=(q, ))
    c2 = Process(target=consumer, args=(q, ))

    # 将消费者设置为守护进程，因为消费者里面是死循环
    c1.daemon = True
    c2.daemon = True

    p1.start()
    p2.start()
    p3.start()
    c1.start()
    c2.start()

    p1.join()
    p2.join()
    p3.join()
    print("stop")

执行结果：

生产1馒头
生产1馒头
生产1馒头
消费1馒头
task_done一次
消费1馒头
task_done一次
消费1馒头
task_done一次
所有连接结束join一次
所有连接结束join一次
所有连接结束join一次
生产2馒头
生产2馒头
生产2馒头
消费2馒头
task_done一次
消费2馒头
task_done一次
消费2馒头
task_done一次
所有连接结束join一次
所有连接结束join一次
所有连接结束join一次
生产3馒头
生产3馒头
生产3馒头
消费3馒头
task_done一次
消费3馒头
task_done一次
消费3馒头
task_done一次
所有连接结束join一次
所有连接结束join一次
所有连接结束join一次
生产4馒头
生产4馒头
生产4馒头
消费4馒头
task_done一次
消费4馒头
task_done一次
消费4馒头
task_done一次
所有连接结束join一次
所有连接结束join一次
所有连接结束join一次
生产5馒头
生产5馒头
生产5馒头
消费5馒头
task_done一次
消费5馒头
task_done一次
消费5馒头
task_done一次
所有连接结束join一次
所有连接结束join一次
所有连接结束join一次
stop

q.task_done() 使用者使用此方法发出信号，表示q.get()返回的项目已经被处理。也就是put取出了，计数-1。

q.join() 生产者将使用此方法进行阻塞，直到队列中所有项目均被处理。阻塞将持续到为队列中的每个项目均调用q.task_done()方法为止。