摘要：
背景 在读取大约200W左右的数据的时候采用游标形式进行数据遍历时，超过10分钟就报错 timeout 原因 pymongo游标会在10分钟之后被关闭 解决方案 db.find({}, no_cursor_timeout=True) 官方文档说明 returned cursor is closed 阅读全文
摘要：
背景 在有200W的任务需要取抓取的时候，目前采用的是线程池去抓取，最终导致内存暴涨。 原因 Threadpoolexcutor默认使用的是无界队列，如果消费任务的速度低于生产任务，那么会把生产任务无限添加到无界队列中。导致内存被占满 解决方案 修改无界队列为有界队列 import queue fr 阅读全文