python线程池的使用
1.创建线程池ThreadPoolExecutor，提交任务submit()，查询状态done(),获取结果result()
from concurrent.futures import ThreadPoolExecutor
import time
def get_html(times):
time.sleep(times)
print('{}, finished'.format(times))
return times
executor = ThreadPoolExecutor(max_workers=2); #创建线程池，传入max_workers参数来设置线程池中最多能同时运行的线程数目
task1 = executor.submit(get_html, 3) # 提交任务
task2 = executor.submit(get_html, 2)
print(task1.done()) # 查询任务状态，完成返回True,否则返回False
print(task2.done())
time.sleep(4)
print(task1.done())
print(task2.done())
print(task1.result()) # 获取任务的返回值，注意：这个方法会阻塞主线程，等待这个任务执行完得到结果
print(task2.result())
if __name__ == '__main__':
pass
2.取消任务cancel()
from concurrent.futures import ThreadPoolExecutor import time def get_html(times): time.sleep(times) print('{}, finished'.format(times)) return times executor = ThreadPoolExecutor(max_workers=1); #创建线程池 task1 = executor.submit(get_html, 3) # 提交任务 task2 = executor.submit(get_html, 2) task1.cancel() task2.cancel() """ 使用cancel()方法可以取消提交的任务，如果任务已经在线程池中运行了，就取消不了 上面的例子，线程池大小为1，添加两个线程后，第一个线程已经在线程池运行，取消不了，第二个线程还在等待，所以可以取消 """ if __name__ == '__main__': pass
执行结果
3, finished
3.as_completed()
from concurrent.futures import ThreadPoolExecutor, as_completed import time def get_html(times): time.sleep(times) print('{}, finished'.format(times)) return times executor = ThreadPoolExecutor(max_workers=3); #创建线程池 task1 = executor.submit(get_html, 5) # 提交任务 task2 = executor.submit(get_html, 2) for future in as_completed([task1, task2]): print(future.result()) """ as_completed()方法是一个生成器，在没有任务完成的时候，会阻塞，在有某个任务完成的时候，会yield这个任务，就能执行for循环下面的语句，然后继续阻塞住，循环到所有的任务结束。 从结果也可以看出，先完成的任务会先通知主线程。 """ if __name__ == '__main__': pass
执行结果：
2, finished 2 5, finished 5
- 循环等待任务执行完过程中如果某个线程抛出异常，则循环停止执行
4. map()
from concurrent.futures import ThreadPoolExecutor, as_completed import time def get_html(times): time.sleep(times) return times executor = ThreadPoolExecutor(max_workers=3); #创建线程池 time_list = [5, 2, 4] for data in executor.map(get_html, time_list): print(data) """ 使用map方法，无需提前使用submit方法，map方法与python标准库中的map含义相同，都是将序列中的每个元素都执行同一个函数。这里是执行submit函数 上面的代码就是对time_list的每个元素都执行get_html函数，并分配给线程池。 可以看到执行结果与上面的as_completed方法的结果不同，输出顺序和time_list列表的顺序对应，就算2s的任务先执行完成，也会先打印出5s的任务先完成，再打印2s的任务完成。 """ if __name__ == '__main__': pass
执行结果：
5 2 4
5. wait()
from concurrent.futures import ThreadPoolExecutor, as_completed, wait, ALL_COMPLETED import time def get_html(times): time.sleep(times) print("{} task finish".format(times)) return times executor = ThreadPoolExecutor(max_workers=3); #创建线程池 task1 = executor.submit(get_html, 5) task2 = executor.submit(get_html, 2) wait([task1, task2], return_when=ALL_COMPLETED) print("end") """ wait方法接收3个参数，等待的任务序列、超时时间以及等待条件。等待条件return_when默认为ALL_COMPLETED，表明要等待所有的任务都结束。 可以看到运行结果中，确实是所有任务都完成了，主线程才打印出end。 等待条件还可以设置为FIRST_COMPLETED，表示第一个任务完成就停止等待。 """ if __name__ == '__main__': pass
执行结果：
2 task finish 5 task finish end
6.shutdown()
from concurrent.futures import ThreadPoolExecutor, as_completed, wait, ALL_COMPLETED import time def get_html(times): time.sleep(times) print("{} task finish".format(times)) return times executor = ThreadPoolExecutor(max_workers=3); #创建线程池 task1 = executor.submit(get_html, 3) task2 = executor.submit(get_html, 2) for f in as_completed([task1, task2]): print(f.result()) executor.shutdown() """ 在用完一个线程池后，应该调用线程池的shutdown()方法，该方法将启动线程池的关闭序列。 调用shutdown()方法后的线程池不再接受新任务，但会将以前所有已提交的任务执行完成。当线程池中的所有任务都执行完后，该线程池中的所有线程都会死亡 """ if __name__ == '__main__': pass
执行结果：
2 task finish 2 3 task finish 3
