关于[scrapy] DEBUG:Filtered duplicate request:

scrapy框架默认是有去重（重复的请求直接忽略掉）设置的，就是如果多个请求完全相同，那么就会报错“Filtered duplicate request    no more duplicates will be shown (see DUPEFILTER_DEBUG to show all duplicates)”，代表两次请求完全相同，那么第二次请求就会被scrapy过滤掉。如果在项目中要求多次请求完全相同，那么需要在后面的请求里面加参数dont_filter=True”,即

request = scrapy.FormRequest(url=url, formdata=data_url, callback=self.get_parse,dont_filter=True)

　　通过这个参数来关闭scrapy自动过滤功能。