scrapy允许状态码及设置重试
RETRY_ENABLED = True #打开重试开关
RETRY_TIMES = 3 #重试次数
DOWNLOAD_TIMEOUT = 3 #超时
RETRY_HTTP_CODES = [429,404,403] #重试
HTTPERROR_ALLOWED_CODES = [429] #上面报的是403,就把403加入。
yield scrapy.Request(url=url, cookies=self.cookies, callback=self.parse, dont_filter=True) #去掉过滤重复的设置(如果有重复的url请求,scrapy就会过滤掉这个请求,把这个设置打开就行了)