2019年10月24日
scrapy允许状态码及设置重试
摘要： RETRY_ENABLED = True #打开重试开关RETRY_TIMES = 3 #重试次数DOWNLOAD_TIMEOUT = 3 #超时RETRY_HTTP_CODES = [429,404,403] #重试HTTPERROR_ALLOWED_CODES = [429] #上面报的是403 阅读全文
posted @ 2019-10-24 14:49 乔儿 阅读(5832) 评论(0) 推荐(0) 编辑