2019年4月19日
scrapy框架修改单个爬虫的配置,包括下载延时，下载超时设置
摘要： DOWNLOAD_DELAY是下载延时的意思，就是下载网页（html）的间隔时间， DOWNLOAD_TIMEOUT是超时时间限制，就是如果60s还没有把网页（html）下载了，那么就会放弃这个网页，例如pycharm运行爬虫时的提示：“(failed 1 times):User timeout c 阅读全文
posted @ 2019-04-19 15:35 乔儿 阅读(4655) 评论(0) 推荐(0) 编辑