皓月星空

导航

python线程------queue、生产者和消费者模式

一、queue简介

1、queue是python标准库中的线程安全的队列(FIFO)实现,提供了一个适用于多线程编程的先进先出的数据结构,即队列,用来在生产者和消费者线程之间的信息传递

2、FIFO即First in First Out,先进先出。Queue提供了一个基本的FIFO容器,使用方法很简单,maxsize是个整数,指明了队列中能存放的数据个数的上限。一旦达到上限,插入会导致阻塞,直到队列中的数据被消费掉

二、queue的一些方法

1、 take done()

意味着之前入队的一个任务已经完成。由队列的消费者线程调用。每一个get()调用得到一个任务,接下来的task_done()调用告诉队列该任务已经处理完毕。
如果当前一个join()正在阻塞,它将在队列中的所有任务都处理完时恢复执行(即每一个由put()调用入队的任务都有一个对应的task_done()调用)。

2、 join()

阻塞调用线程,直到队列中的所有任务被处理掉。
只要有数据被加入队列,未完成的任务数就会增加。当消费者线程调用task_done()(意味着有消费者取得任务并完成任务),未完成的任务数就会减少。当未完成的任务数降到0,join()解除阻塞。

3、put()

将数据放入队列中

4、 get()

取出队列的数据

import threading,queue
import time,random

q = queue.Queue()#创建一个队列

def Producer(name):
    count =0
    while count < 10:
        print('making.........')
        time.sleep(random.randrange(3))
        q.put(count)
        print('Product %s has produced %s baozi...' % (name,count))
        count += 1
        q.task_done()
        print('ok.......')
        
def Consumer(name):
    count = 0
    while count < 10:
        time.sleep(random.randrange(4))
        print("..............waiting..............")
        q.join()
        data = q.get()          
        print(data)
        print('Comsumer %s has eat %s baozi...' % (name,data))        
        count += 1             
       
p1 = threading.Thread(target = Producer,args = ('厨师',))
c1 = threading.Thread(target = Consumer,args = ('食客1',)) 
c2 = threading.Thread(target = Consumer,args = ('食客2',))                

p1.start()
c1.start()
c2.start()            
                   

三、生产者和消费者的一些总结

#程序中有两类角色
        一类负责生产数据(生产者)
        一类负责处理数据(消费者)
        
#引入生产者消费者模型为了解决的问题是:
        平衡生产者与消费者之间的工作能力,从而提高程序整体处理数据的速度
        
#如何实现:
        生产者<-->队列<——>消费者
    #生产者消费者模型实现类程序的解耦和

posted on 2019-08-02 15:57  皓月星空  阅读(801)  评论(0编辑  收藏  举报