Python 队列

import multiprocessing
import time

if __name__ == '__main__':
    # 创建消息队列
    # 3： 表示消息队列最大个数
    queue = multiprocessing.Queue(3)
    # 放入数据
    queue.put(1)
    queue.put("abc")
    queue.put(["abc", "456"])
    # 队列满了在放入数据, 就不能放入数据了，直到消息队列有空闲位置才能再放入数据
    # queue.put(("34", 90))
    # put_nowait： 不会等待队列有空闲位置再放入数据，如果数据放入不成功就直接崩溃
    # queue.put_nowait(("34", 90))
    # 建议: 放入数据使用put，因为比较安全不会崩溃

    # 查看队列是否是满的
    # result = queue.full()
    # print(result)
    # 坑点: 只使用put放入数据直接判断队列是否为空获取的结果不正确，因为没有等队列把数据写完直接就取获取了，那么这是队列是空的
    # for i in range(10000):
    #     print(i)
    # 解决办法: 1. 延时一段时间  2. 通过个数去判断
    # time.sleep(0.001)
    #
    if queue.qsize() == 0:  # mac 版本不能使用qsize()
        print("队列是空的")

    # result = queue.empty()
    # print(result)


    # 查看队列的个数
    size = queue.qsize()
    print("消息队列个数:", size)
    # 获取队列的数据
    value = queue.get()
    print(value)
    size = queue.qsize()
    print("消息队列个数:", size)
    # 获取队列的数据
    value = queue.get()
    print(value)
    size = queue.qsize()
    print("消息队列个数:", size)
    # 获取队列的数据
    value = queue.get()
    print(value)
    size = queue.qsize()
    print("消息队列个数:", size)

    # 队列为空，　使用get会等待，直到队列有数据以后再取值
    # value = queue.get()
    # print(value)
    # 队列为空，取值的时候不等待，但是取不到值那么直接崩溃了
    # value = queue.get_nowait()
    # print(value)
    # 建议： 获取队列的数据统一get，因为能保证代码不会有问题

  try:
        value = queue.get(timeout = 1)
    finally:
        print(value)
        size = queue.qsize()
        print("消息队列个数:", size)

        print("结束！")

 

Queue

Queue是python标准库中的线程安全的队列（FIFO）实现,提供了一个适用于多线程编程的先进先出的数据结构，即队列，用来在生产者和消费者线程之间的信息传递

基本FIFO队列

class Queue.Queue(maxsize=0)

FIFO即First in First Out,先进先出。Queue提供了一个基本的FIFO容器，使用方法很简单,maxsize是个整数，指明了队列中能存放的数据个数的上限。一旦达到上限，插入会导致阻塞，直到队列中的数据被消费掉。如果maxsize小于或者等于0，队列大小没有限制。

举个栗子：

import Queue

q = Queue.Queue()

for i in range(5):
    q.put(i)

while not q.empty():
    print q.get()

输出：

0
1
2
3
4

LIFO队列

class Queue.LifoQueue(maxsize=0)

LIFO即Last in First Out,后进先出。与栈的类似，使用也很简单,maxsize用法同上

再举个栗子：

import Queue

q = Queue.LifoQueue()

for i in range(5):
    q.put(i)

while not q.empty():
    print q.get()

输出：

4
3
2
1
0

可以看到仅仅是将Queue.Quenu类替换为Queue.LifiQueue类

优先级队列

class Queue.PriorityQueue(maxsize=0)

构造一个优先队列。maxsize用法同上。

import Queue
import threading

class Job(object):
    def __init__(self, priority, description):
        self.priority = priority
        self.description = description
        print 'Job:',description
        return
    def __cmp__(self, other):
        return cmp(self.priority, other.priority)

q = Queue.PriorityQueue()

q.put(Job(3, 'level 3 job'))
q.put(Job(10, 'level 10 job'))
q.put(Job(1, 'level 1 job'))

def process_job(q):
    while True:
        next_job = q.get()
        print 'for:', next_job.description
        q.task_done()

workers = [threading.Thread(target=process_job, args=(q,)),
        threading.Thread(target=process_job, args=(q,))
        ]

for w in workers:
    w.setDaemon(True)
    w.start()

q.join()

结果

Job: level 3 job
Job: level 10 job
Job: level 1 job
for: level 1 job
for: level 3 job
for: job: level 10 job

一些常用方法

task_done()

意味着之前入队的一个任务已经完成。由队列的消费者线程调用。每一个get()调用得到一个任务，接下来的task_done()调用告诉队列该任务已经处理完毕。

如果当前一个join()正在阻塞，它将在队列中的所有任务都处理完时恢复执行（即每一个由put()调用入队的任务都有一个对应的task_done()调用）。

join()

阻塞调用线程，直到队列中的所有任务被处理掉。

只要有数据被加入队列，未完成的任务数就会增加。当消费者线程调用task_done()（意味着有消费者取得任务并完成任务），未完成的任务数就会减少。当未完成的任务数降到0，join()解除阻塞。

put(item[, block[, timeout]])

将item放入队列中。

1. 如果可选的参数block为True且timeout为空对象（默认的情况，阻塞调用，无超时）。
2. 如果timeout是个正整数，阻塞调用进程最多timeout秒，如果一直无空空间可用，抛出Full异常（带超时的阻塞调用）。
3. 如果block为False，如果有空闲空间可用将数据放入队列，否则立即抛出Full异常

其非阻塞版本为put_nowait等同于put(item, False)

get([block[, timeout]])

从队列中移除并返回一个数据。block跟timeout参数同put方法

其非阻塞方法为｀get_nowait()｀相当与get(False)

empty()

如果队列为空，返回True,反之返回False