Python并发编程-queue

　　　　　　　Python并发编程-queue

　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

 

 

 

一.Queue

# ！/usr/bin/env python
# _*_conding:utf-8_*_
# @author :yinzhengjie
# blog:http://www.cnblogs.com/yinzhengjie

from queue import Queue

"""
Queue是先进先出(First-in-First-out)队列,常用方法如下:
    queue.Queue(maxsize=0):
        创建FIFO队列，返回Queue对象
        maxsize表示队列大小，小于等于0则队列长度没有限制

    Queue.get(block=True,timeout=None):
        从队列中移除元素并返回这个元素
        block为阻塞，timeout为超时
        如果block为True,是阻塞,timeout为None就是一直阻塞
        如果block为True单timeout有值，就阻塞到一定描述抛出Empty异常
        block为False,是非阻塞，timeout将被忽略，要么成功返回一个元素，要么抛出empty异常

    Queue.get_nowait():
        等价于get(False)，也就是说要么成功返回一个元素，要么抛出empty异常
        但是queue的这种阻塞效果，需要多线程来演示

    Queue.put(item,block=True,time=None):
        把一个元素加入到队列中去
        block=True,timeout=None,表示如果当前队列已经满了，则一直阻塞直至有空位存放元素。
        block=True,timeout=5,表示如果当前队列已经满了，则阻塞五秒依旧没有空位存放元素就抛出Full异常
        block=Flase,timeout失效，立即返回，能塞进去就塞进去，不能就抛出Full异常。

    Queue.put_nowait(item):
        等价于Queue.put(item,False)，也就是能塞进去就塞，不能就抛出Full异常
"""

q = Queue(3)  # 设置队列大小为3
q.put("hdfs")
q.put("mapreduce")
print(q.qsize(), q.full())
q.put("yarn")
print(q.qsize(), q.full())
# q.put("hbase")          #这里会阻塞,因为上面已经网队列中放慢3个了，再放是没法放进队列啦,直到有人消费数据才能有多余的空间存入

print(q.get())
print(q.qsize(), q.empty())
print(q.get())
print(q.qsize(), q.empty())
print(q.get())
# print(q.get())             #这里也会阻塞,因为已经从队列中取出三个了，再去是取不出来啦,直到有人放入数据才能取到数据
# print(q.get(timeout=3))     #阻塞，但超时3秒还拿不到数据就会抛出Empty异常。

2 False
3 True
hdfs
2 False
mapreduce
1 False
yarn

 

二.LifoQueue

#！/usr/bin/env python
#_*_conding:utf-8_*_
#@author :yinzhengjie
#blog:http://www.cnblogs.com/yinzhengjie

from queue import LifoQueue
"""
    LifoQueue是后进先出队列，这个类继承自Queue，使用方式同Queue。
"""

q = LifoQueue(3)        #设置队列大小为3
q.put("hdfs")
q.put("mapreduce")
print(q.qsize(),q.full())
q.put("yarn")
print(q.qsize(),q.full())
# q.put("hive")          #这里会阻塞,因为上面已经网队列中放慢3个了，再放是没法放进队列啦,直到有人消费数据才能有多余的空间存入

print(q.get())
print(q.qsize(),q.empty())
print(q.get())
print(q.qsize(),q.empty())
print(q.get())
# print(q.get())             #这里也会阻塞,因为已经从队列中取出三个了，再去是取不出来啦,直到有人放入数据才能取到数据
# print(q.get(timeout=3))     #阻塞，但超时3秒还拿不到数据就会抛出Empty异常。

2 False
3 True
yarn
2 False
mapreduce
1 False
hdfs

 

三.PriorityQueue

# ！/usr/bin/env python
# _*_conding:utf-8_*_
# @author :yinzhengjie
# blog:http://www.cnblogs.com/yinzhengjie

from queue import PriorityQueue
import random
from string import ascii_lowercase

"""
PriorityQueue是优先队列，这个类继承自Queue类，并重写了入队,出队的方法。
    它里面是堆，用列表实现的堆，构建的是小顶堆。
    元素可以存储任意值,但是优先队列内部是直接进行元素大小比较的，不同类型比较可能抛出异常
    入队时,将元素加入到列表末尾,然后进行小顶堆调整
    出队时,将索引0即堆顶处最小值弹出，然后将最后一个元素放到堆顶，重新堆调整。
"""

q = PriorityQueue()

gender = ["boy","girl"]     #我们模拟一下男生和女士，不管传入的字符串随机字符串是如何，最终取出来的数据应该是男士优先的

for i in range(10):
    q.put("{} : {}".format(random.choice(gender),random.choice(ascii_lowercase)))
  
while not q.empty():
    print(q.get_nowait())

boy : m
boy : m
boy : s
boy : w
girl : a
girl : a
girl : d
girl : h
girl : m
girl : y