Python多线程笔记(三)，queue模块

尽管在Python中可以使用各种锁和同步原语的组合编写非常传统的多线程程序，但有一种首推的编程方式要优于其他所有编程方式
即将多线程程序组织为多个独立人物的集合，这些任务之间通过消息队列进行通信

 

queue模块(在python2中叫Queue)实现了各种多生产者-多消费者队列，可用于在执行的多个线程之间安全地交换信息。

 

queue模块定义了三种不同的队列类

 

Queue([maxsize])
创造一个FIFO(first-in-first-out,先进先出)队列。maxsize是队列中可以放入的项的最大数量，如果省略maxsize
参数或将它置为0，队列大小将为无穷大。

LifoQueue([maxsize])
创建一个LIFO(last-in-first-out,后进先出)队列(也叫栈)

PriorityQueue([maxsize])
创建一个优先级队列，其中项按照优先级从低到高依次排列。使用这种队列时，项应该是(priority, data)形式的元组，
其中priority是一个数字。

 

队列类的实例q具有一下方法

q.qsize()
返回队列的正确大小。因为其他线程可能正在更新队列，此方法返回的数字不完全可靠

q.empty()
如果队列为空，返回True，否则返回False

q.full()
如果队列已满，返回True，否则返回False

q.put(item[,block [,timeout]])
将item放入队列。如果可选参数block为True(默认值)，调用者将被阻塞直到队列中出现可用的空闲位置为止。
否则(block为False)，队列满时将引发Full异常。timeout提供可选的超时值，单位为秒。如果出现超时，将引发
Full异常

q.put_nowait(item)
等价于q.put(item, False)方法

q.get(block [,timeout])
从队列中删除一项，然后返回这个项。如果可选参数block为True(默认值)，调用者将阻塞，直到队列中出现可用的
空闲闲置。否则(block为False),队列为空将引发Empty异常。timeout提供可选的超时值，单位为秒。如果出现超时
将引发Empty异常。

q.get_nowait()
等价于get(0)方法

q.task_done()
队列中数据的消费数据用来指示对于项的处理已经结束。如果使用此方法，那么队列中删除的每一项都应该调用一次。

q.join()
阻塞直到队列中的所有项均被删除和处理为止。一旦为队列中的每一项都调用了一次q.task_done()方法，此方法将会直接返回。

 

import threading
from queue import Queue


class WorkerThread(threading.Thread):
    def __init__(self, *args, **kwargs):
        threading.Thread.__init__(self, *args, **kwargs)
        self.input_queue = Queue()

    def send(self, item):
        self.input_queue.put(item)

    def close(self):
        self.input_queue.put(None)
        self.input_queue.join()

    def run(self):
        while True:
            item = self.input_queue.get()
            if item is None:
                break
            # 处理项(使用有用的工作代替)
            print(item)
            self.input_queue.task_done()
        # 完成，指示收到和返回了哨兵
        self.input_queue.task_done()
        return


# 使用示例
w = WorkerThread()
w.start()
w.send('hello')  # 将项发给工作线程
w.send('world')
w.close()

 

import queue
import threading
import time

exitFlag = 0


class MyThread (threading.Thread):
    def __init__(self, threadID, name, q):
        threading.Thread.__init__(self)
        self.threadID = threadID
        self.name = name
        self.q = q

    def run(self):
        print("开启线程：" + self.name)
        process_data(self.name, self.q)
        print("退出线程：" + self.name)


def process_data(threadName, q):
    while not exitFlag:
        queueLock.acquire()
        if not workQueue.empty():
            data = q.get()
            queueLock.release()
            print("%s processing %s" % (threadName, data))
        else:
            queueLock.release()
        time.sleep(1)


threadList = ["Thread-1", "Thread-2", "Thread-3"]
nameList = ["One", "Two", "Three", "Four", "Five"]
queueLock = threading.Lock()
workQueue = queue.Queue(10)
threads = []
threadID = 1

# 创建新线程
for tName in threadList:
    thread = MyThread(threadID, tName, workQueue)
    thread.start()
    threads.append(thread)
    threadID += 1

# 填充队列
queueLock.acquire()
for word in nameList:
    workQueue.put(word)
queueLock.release()

# 等待队列清空
while not workQueue.empty():
    pass

# 通知线程是时候退出
exitFlag = 1

# 等待所有线程完成
for t in threads:
    t.join()
print("退出主线程")


# http://www.runoob.com/python3/python3-multithreading.html