python线程池的使用

1.创建线程池ThreadPoolExecutor，提交任务submit()，查询状态done(),获取结果result()

from concurrent.futures import ThreadPoolExecutor
import time


def get_html(times):
    time.sleep(times)
    print('{}, finished'.format(times))
    return times


executor = ThreadPoolExecutor(max_workers=2);   #创建线程池，传入max_workers参数来设置线程池中最多能同时运行的线程数目

task1 = executor.submit(get_html, 3)      # 提交任务
task2 = executor.submit(get_html, 2)
print(task1.done())     # 查询任务状态，完成返回True,否则返回False
print(task2.done())
time.sleep(4)
print(task1.done())
print(task2.done())
print(task1.result())      # 获取任务的返回值，注意：这个方法会阻塞主线程，等待这个任务执行完得到结果
print(task2.result())


if __name__ == '__main__':
    pass

2.取消任务cancel()

from concurrent.futures import ThreadPoolExecutor
import time


def get_html(times):
    time.sleep(times)
    print('{}, finished'.format(times))
    return times


executor = ThreadPoolExecutor(max_workers=1);   #创建线程池

task1 = executor.submit(get_html, 3)      # 提交任务
task2 = executor.submit(get_html, 2)
task1.cancel()
task2.cancel()
"""
    使用cancel()方法可以取消提交的任务，如果任务已经在线程池中运行了，就取消不了
    上面的例子，线程池大小为1，添加两个线程后，第一个线程已经在线程池运行，取消不了，第二个线程还在等待，所以可以取消
"""

if __name__ == '__main__':
    pass

执行结果

3, finished

3.as_completed()

from concurrent.futures import ThreadPoolExecutor, as_completed
import time


def get_html(times):
    time.sleep(times)
    print('{}, finished'.format(times))
    return times


executor = ThreadPoolExecutor(max_workers=3);   #创建线程池

task1 = executor.submit(get_html, 5)      # 提交任务
task2 = executor.submit(get_html, 2)


for future in as_completed([task1, task2]):
    print(future.result())
"""
    as_completed()方法是一个生成器，在没有任务完成的时候，会阻塞，在有某个任务完成的时候，会yield这个任务，就能执行for循环下面的语句，然后继续阻塞住，循环到所有的任务结束。
    从结果也可以看出，先完成的任务会先通知主线程。
"""

if __name__ == '__main__':
    pass

执行结果：

2, finished
2
5, finished
5

循环等待任务执行完过程中如果某个线程抛出异常，则循环停止执行

4. map()

from concurrent.futures import ThreadPoolExecutor, as_completed
import time


def get_html(times):
    time.sleep(times)
    return times


executor = ThreadPoolExecutor(max_workers=3);   #创建线程池

time_list = [5, 2, 4]

for data in executor.map(get_html, time_list):
    print(data)

"""
    使用map方法，无需提前使用submit方法，map方法与python标准库中的map含义相同，都是将序列中的每个元素都执行同一个函数。这里是执行submit函数
    上面的代码就是对time_list的每个元素都执行get_html函数，并分配给线程池。
    可以看到执行结果与上面的as_completed方法的结果不同，输出顺序和time_list列表的顺序对应，就算2s的任务先执行完成，也会先打印出5s的任务先完成，再打印2s的任务完成。
"""

if __name__ == '__main__':
    pass

执行结果：

5
2
4

5. wait()

from concurrent.futures import ThreadPoolExecutor, as_completed, wait, ALL_COMPLETED
import time


def get_html(times):
    time.sleep(times)
    print("{} task finish".format(times))
    return times


executor = ThreadPoolExecutor(max_workers=3);   #创建线程池

task1 = executor.submit(get_html, 5)
task2 = executor.submit(get_html, 2)

wait([task1, task2], return_when=ALL_COMPLETED)
print("end")


"""
   wait方法接收3个参数，等待的任务序列、超时时间以及等待条件。等待条件return_when默认为ALL_COMPLETED，表明要等待所有的任务都结束。
   可以看到运行结果中，确实是所有任务都完成了，主线程才打印出end。
   等待条件还可以设置为FIRST_COMPLETED，表示第一个任务完成就停止等待。

"""

if __name__ == '__main__':
    pass

执行结果：

2 task finish
5 task finish
end

6.shutdown()

from concurrent.futures import ThreadPoolExecutor, as_completed, wait, ALL_COMPLETED
import time


def get_html(times):
    time.sleep(times)
    print("{} task finish".format(times))
    return times


executor = ThreadPoolExecutor(max_workers=3);   #创建线程池

task1 = executor.submit(get_html, 3)
task2 = executor.submit(get_html, 2)

for f in as_completed([task1, task2]):
    print(f.result())
executor.shutdown()


"""
   在用完一个线程池后，应该调用线程池的shutdown()方法，该方法将启动线程池的关闭序列。
   调用shutdown()方法后的线程池不再接受新任务，但会将以前所有已提交的任务执行完成。当线程池中的所有任务都执行完后，该线程池中的所有线程都会死亡

"""

if __name__ == '__main__':
    pass