三种方法实现 生产者消费者模型

在并发编程中使用生产者和消费者模式能够解决绝大多数并发问题。

该模式通过平衡生产进程和消费进程的工作能力来提高程序的整体处理数据的速度。

 

举个应用栗子：

全栈开发时候，前端接收客户请求，后端处理请求逻辑。

当某时刻客户请求过于多的时候，后端处理不过来，

此时完全可以借助队列来辅助，将客户请求放入队列中，

后端逻辑代码处理完一批客户请求后马上从队列中继续获取，

这样平衡两端的效率。

 

为什么要使用生产者和消费者模式

在进程世界里，生产者就是生产数据的进程，消费者就是消费数据的进程。

在多进程开发当中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者处理完，才能继续生产数据。

同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。

为了解决这个问题于是引入了生产者和消费者模式。

什么是生产者消费者模式

生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。

生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，

所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，

消费者不找生产者要数据，而是直接从阻塞队列里取，

阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力。

 

 

三种方法实现 生产者消费者模型:

from multiprocessing import Queue, Process


def producer(q, name):
    for i in range(20):  # 生产20个
        info = name + '的娃娃%s' % str(i)  # 产生数据
        q.put(info)  # 把数据放入队列
    q.put(None)  # 生产者生产完数据后,放入一个不再生产的标示None,消费者读取到None后可以知道数据已取完


def consumer(q, name):
    while 1:  # 循环接收数据
        info = q.get()  # 从队列中拿取数据
        if info:  # 如果队列中存在数据
            print('%s拿走了%s' % (name, info))  # 打印
        else:
            break  # 否则退出接收循环


if __name__ == '__main__':
    q = Queue(10)  # 先建立一个10长度的队列
    p_pro = Process(target=producer, args=(q, '生产者'))  # 创建生产者进程
    p_con = Process(target=consumer, args=(q, '消费者'))  # 创建消费者进程
    p_pro.start()  # 进程开始
    p_con.start()  # 进程开始

from multiprocessing import Process,Queue

def producer(q,name):
    for i in range(1,21):
        info = name + '的娃娃%s' % str(i)
        q.put(info)

def consumer(q,name):
    while 1:
        info = q.get()
        if info:
            print(name+'拿了%s' % info)
        else:
            break

if __name__ == '__main__':
    q = Queue(10)
    p_pro1 = Process(target=producer,args=(q,'\033[31m生产者1\033[0m'))
    p_pro2 = Process(target=producer,args=(q,'\033[32m生产者2\033[0m'))
    p_pro3 = Process(target=producer,args=(q,'\033[33m生产者3\033[0m'))
    p_con1 = Process(target=consumer,args=(q,'\033[34m消费者1\033[0m'))
    p_con2 = Process(target=consumer,args=(q,'\033[35m消费者2\033[0m'))
    p_l = [p_pro1,p_pro2,p_pro3,p_con1,p_con2]
    [p.start() for p in p_l]  #建立进程列表循环 开始每个进程
    p_pro1.join() # 需要join 让主程序等待子程序结束,然后添加标示
    p_pro2.join() # 有几个生产者 就需要几个join
    p_pro3.join() #
    q.put(None) # 有几个消费者就有几个结束标示
    q.put(None) # 有几个消费者就有几个结束标示
    # q.put(None) # 有几个消费者就有几个结束标示
    # 这个None,先进后出,在队列的最后,所以最后读取到这个None的时候,表示队列已经取完了

from multiprocessing import Process, Pipe


def consumer(p, name):
    produce, consume = p
    produce.close()
    while True:
        try:
            baozi = consume.recv()
            print('%s 收到包子:%s' % (name, baozi))
        except EOFError:
            break


def producer(seq, p):
    produce, consume = p
    consume.close()
    for i in seq:
        produce.send(i)


if __name__ == '__main__':
    produce, consume = Pipe()

    c1 = Process(target=consumer, args=((produce, consume), 'c1'))
    c1.start()

    seq = (i for i in range(10))
    producer(seq, (produce, consume))

    produce.close()
    consume.close()

    c1.join()
    print('主进程')