scrapy允许状态码及设置重试

RETRY_ENABLED = True  #打开重试开关
RETRY_TIMES = 3  #重试次数
DOWNLOAD_TIMEOUT = 3  #超时
RETRY_HTTP_CODES = [429,404,403]  #重试

HTTPERROR_ALLOWED_CODES = [429]   #上面报的是403，就把403加入。

yield scrapy.Request(url=url, cookies=self.cookies, callback=self.parse, dont_filter=True)  #去掉过滤重复的设置（如果有重复的url请求，scrapy就会过滤掉这个请求，把这个设置打开就行了）