Python多线程同步命令行模拟进度显示

最近在一个Python(3.5)的小项目中需要用到多线程加快处理速度，同时需要显示进度，于是查了些资料找到几个实现方法：线程池的map-reduce和Queue结合线程的实现。这里简单的实例介绍一下Queue结合线程的实现方法。

 

这个示例的主要功能是利用Queue和Thread模拟一个固定线程数的线程池，实现一个命令行窗口里的进度显示，比如（1%~100%）。

import multiprocessing
from threading import Lock, Thread
from queue import Queue
import time
import sys

q = Queue()

# numTag和Lock用来演示多线程同步
numTag = 0
lock = Lock()

"""
    用来演示输出
"""
def print_num(item):
    time.sleep(0.5)
    # 声明numTag是全局变量，所有的线程都可以对其进行修改
    global numTag
    with lock:
        numTag += 1
        # 输出的时候加上'\r'可以让光标退到当前行的开始处，进而实现显示进度的效果
        sys.stdout.write('\rQueue Item: {0}\tNumTag:{1}%'.format(str(item), str(numTag)))

"""
    worker是一个中间件，把Queue接收到的值传给对应的功能函数进行处理
"""
def worker():
    while True:
        item = q.get()
        if item is None:
            break
        print_num(item)
        q.task_done()

if __name__ == '__main__':
    # 根据CPU的数量创建对应数量的线程
    threadCount = multiprocessing.cpu_count()
    for i in range(threadCount):
        t = Thread(target=worker)
        # 设置daemon为True, 可以让线程在主线程退出的时候一起结束
        # 否则线程还会继续等待
        t.daemon = True
        t.start()

    # 通过Queue给线程传值
    for i in range(100):
        q.put(i)

    q.join()
    print('')

最终输出结果（进度会以每0.5秒增长4%的速度进行更新）：

参考链接：https://docs.python.org/3.5/library/queue.html#Queue.Queue