Python ThreadPoolExecutor 线程池导致内存暴涨

背景#

在有200W的任务需要取抓取的时候，目前采用的是线程池去抓取，最终导致内存暴涨。

原因#

Threadpoolexcutor默认使用的是无界队列，如果消费任务的速度低于生产任务，那么会把生产任务无限添加到无界队列中。导致内存被占满

解决方案#

修改无界队列为有界队列

import queue

from concurrent.futures import ThreadPoolExecutor


class ThreadPoolExecutor(ThreadPoolExecutor):
    """
    重写线程池修改队列数
    """
    def __init__(self, max_workers=None, thread_name_prefix=''):
        super().__init__(max_workers, thread_name_prefix)
        # 队列大小为最大线程数的两倍
        self._work_queue = queue.Queue(self._max_workers * 2)