2022年7月29日

Scrapy vscode 的调试

摘要： 1. 首先设置scrapy断点，参考https://www.cnblogs.com/changbaishan/p/15880018.html, 下面是我的代码： mian.py 与scrapy.cfg在同一层级 from scrapy.cmdline import execute import os 阅读全文

posted @ 2022-07-29 15:13 花阴偷移 阅读(322) 评论(0) 推荐(0) 编辑

Scrapy 请求并发数设置

摘要： 并发数可以在scrapy项目的settings.py文件中设置。 1.CONCURRENT_ITEMS 是指：最大并发项目数，默认100个。 2.CONCURRENT_REQUESTS 是指：下载器将执行的并发（即同时）请求的最大数量，默认16个。 3.CONCURRENT_REQUESTS_PER 阅读全文

posted @ 2022-07-29 10:59 花阴偷移 阅读(2145) 评论(0) 推荐(0) 编辑

导航