2020年4月14日
scrapy优化内存占用
摘要： 最近发现公司的scrapy爬虫服务运行起来之后，占用内存持续增大，单个爬虫爬取几十万网页之后，占用内存达到1,2个G，单台服务器运行10个以上的爬虫时，很快就把服务器内存耗尽了。于是着手对爬虫进行空间性能分析及优化首先分析以下可能原因，并依次进行排查： 内存泄露 资源长时间占用无法释放 队列堵塞 排 阅读全文
posted @ 2020-04-14 15:13 BruceLong 阅读(1640) 评论(0) 推荐(0) 编辑