python之进程----Queue
一、Queue是通过multiprocessing使用
from multiprocessing import Process,Queue import time import random import os def consumer(q): while True: res=q.get() if res is None: break time.sleep(random.randint(1,3)) print('\033[45m%s 吃了 %s\033[0m' % (os.getpid(), res)) def producer(q): for i in range(5): time.sleep(2) res='包子%s' %i q.put(res) print('\033[44m%s 制造了 %s\033[0m' %(os.getpid(),res)) q.put(None) if __name__ == '__main__': q=Queue() #生产者们：厨师们 p1=Process(target=producer,args=(q,)) #消费者们：吃货们 p2=Process(target=consumer,args=(q,)) p1.start() p2.start() p1.join() p2.join() print('主')
from multiprocessing import Process,Queue import time import random import os def consumer(q): while True: res=q.get() if res is None:break time.sleep(random.randint(1,3)) print('\033[45m%s 吃了 %s\033[0m' % (os.getpid(), res)) def product_baozi(q): for i in range(3): time.sleep(2) res='包子%s' %i q.put(res) print('\033[44m%s 制造了 %s\033[0m' %(os.getpid(),res)) def product_jiaozi(q): for i in range(3): time.sleep(2) res='饺子%s' %i q.put(res) print('\033[44m%s 制造了 %s\033[0m' %(os.getpid(),res)) def product_dabing(q): for i in range(3): time.sleep(2) res='大饼%s' %i q.put(res) print('\033[44m%s 制造了 %s\033[0m' %(os.getpid(),res)) if __name__ == '__main__': q=Queue() #生产者们：厨师们 p1=Process(target=product_baozi,args=(q,)) p2=Process(target=product_jiaozi,args=(q,)) p3=Process(target=product_dabing,args=(q,)) #消费者们：吃货们 p4=Process(target=consumer,args=(q,)) p5=Process(target=consumer,args=(q,)) p_l=[p1,p2,p3,p4,p5] for p in p_l: p.start() # for p in p_l: # p.join() # p1.start() # p2.start() # p3.start() # p4.start() # p5.start() p1.join() p2.join() p3.join() q.put(None) q.put(None) p4.join() p5.join() print('主')
q .put方法用以插入数据到队列中，put方法还有两个可选参数：blocked和timeout。如果blocked为True（默认值），
并且timeout为正值，该方法会阻塞timeout指定的时间，直到该队列有剩余的空间。
如果超时，会抛出Queue.Full异常。如果blocked为False，但该Queue已满，会立即抛出Queue.Full异常。 q.get方法可以从队列读取并且删除一个元素。同样，get方法有两个可选参数：blocked和timeout。
如果blocked为True（默认值），并且timeout为正值，那么在等待时间内没有取到任何元素，会抛出Queue.Empty异常。
如果blocked为False，有两种情况存在，如果Queue有一个值可用，则立即返回该值，否则，如果队列为空，则立即抛出Queue.Empty异常.
1:可以往队列里放任意类型的数据 2 队列：先进先出
from multiprocessing import Process,Queue q=Queue(3) q.put('first') q.put('second') q.put('third') # q.put('fourht') print(q.get()) print(q.get()) print(q.get()) # print(q.get())
from multiprocessing import Process,Queue q=Queue(3) q.put('first',block=False) q.put('second',block=False) q.put('third',block=False) # q.put('fourth',block=False) q.put('fourth',block=True,timeout=3) q.get(block=False) q.get(block=True,timeout=3) q.get_nowait() #q.get(block=False)
二、JoinableQueue同样通过multiprocessing使用。
JoinableQueue的实例p除了与Queue对象相同的方法之外还具有：
q.task_done()：使用者使用此方法发出信号，表示q.get()的返回项目已经被处理。如果调用此方法的次数大于从队列中删除项目的数 量，将引发ValueError异常
q.join():生产者调用此方法进行阻塞，直到队列中所有的项目均被处理。阻塞将持续到队列中的每个项目均调用q.task_done（）方法为止
from multiprocessing import Process,JoinableQueue import time import random import os def consumer(q): while True: res=q.get() time.sleep(random.randint(1,3)) print('\033[45m%s 吃了 %s\033[0m' % (os.getpid(), res)) q.task_done() def product_baozi(q): for i in range(5): time.sleep(2) res='包子%s' %i q.put(res) print('\033[44m%s 制造了 %s\033[0m' %(os.getpid(),res)) q.join() if __name__ == '__main__': q=JoinableQueue() #生产者们：厨师们 p1=Process(target=product_baozi,args=(q,)) #消费者们：吃货们 p4=Process(target=consumer,args=(q,)) p4.daemon=True p1.start() p4.start() p1.join() print('主')
from multiprocessing import Process,JoinableQueue import time import random import os def product_baozi(q): for i in range(3): time.sleep(2) res='包子%s' %i q.put(res) print('\033[44m%s 制造了 %s\033[0m' %(os.getpid(),res)) q.join() def product_jiaozi(q): for i in range(3): time.sleep(2) res='饺子%s' %i q.put(res) print('\033[44m%s 制造了 %s\033[0m' %(os.getpid(),res)) q.join() def product_dabing(q): for i in range(3): time.sleep(2) res='大饼%s' %i q.put(res) print('\033[44m%s 制造了 %s\033[0m' %(os.getpid(),res)) q.join() def consumer(q): while True: res = q.get() time.sleep(random.randint(1, 3)) print('\033[45m%s 吃了 %s\033[0m' % (os.getpid(), res)) q.task_done() if __name__ == '__main__': q=JoinableQueue() #生产者们：厨师们 p1=Process(target=product_baozi,args=(q,)) p2=Process(target=product_jiaozi,args=(q,)) p3=Process(target=product_dabing,args=(q,)) #消费者们：吃货们 p4=Process(target=consumer,args=(q,)) p5=Process(target=consumer,args=(q,)) p4.daemon=True p5.daemon=True p_l=[p1,p2,p3,p4,p5] for p in p_l: p.start() p1.join() p2.join() p3.join() print('主')
三，互斥锁
互斥锁应用：
from multiprocessing import Process,Lock import os import time def work(mutex): mutex.acquire() print('task[%s] 上厕所' %os.getpid()) time.sleep(3) print('task[%s] 上完厕所' %os.getpid()) mutex.release() if __name__ == '__main__': mutex=Lock() p1=Process(target=work,args=(mutex,)) p2=Process(target=work,args=(mutex,)) p3=Process(target=work,args=(mutex,)) p1.start() p2.start() p3.start() print('主')
四、模拟抢票：
from multiprocessing import Process,Lock import json import time import random import os def search(): dic=json.load(open('db.txt',)) print('剩余票数%s' %dic['count']) def get_ticket(): dic=json.load(open('db.txt',)) if dic['count'] > 0: dic['count']-=1 json.dump(dic,open('db.txt','w')) print('%s 购票成功' %os.getpid()) def task(mutex): search() time.sleep(random.randint(1, 3)) #模拟购票一系列繁琐的过程所花费的时间 mutex.acquire() get_ticket() mutex.release() if __name__ == '__main__': mutex=Lock() for i in range(50): p=Process(target=task,args=(mutex,)) p.start()
五、process对象的其他属性补充
from multiprocessing import Process import os import time def work(): print('%s is working' %os.getpid()) time.sleep(3) if __name__ == '__main__': p1=Process(target=work) p2=Process(target=work) p3=Process(target=work) p1.daemon=True p2.daemon=True p3.daemon=True p1.start() #初始化1 p2.start() #初始化2 p3.start() #初始化3 p3.join() p1.join() p2.join() print('基于初始化的结果来继续运行')
from multiprocessing import Process import os import time def work(): print('%s is working' %os.getpid()) time.sleep(3) if __name__ == '__main__': p1=Process(target=work) # p2=Process(target=work) # p3=Process(target=work) p1.start() #初始化1 # p2.start() #初始化2 # p3.start() #初始化3 # p1.terminate() # time.sleep(3) # print(p1.is_alive()) print(p1.name) print(p1.pid) print('基于初始化的结果来继续运行')
