2017年10月13日
在scrapy的spiders文件中设置请求时间间隔
摘要： 设置某个spider单独使用的设置项等等。 在spiders文件中写如下： custom_settings = { 'DOWNLOAD_DELAY': 0.2, 'CONCURRENT_REQUESTS_PER_IP': 4, 'DOWNLOADER_MIDDLEWARES': {}, } 阅读全文
posted @ 2017-10-13 13:32 Python全栈工程师之路 阅读(4907) 评论(0) 推荐(0) 编辑