摘要:
例如一个IP代理池,这是个字符串,有多行 120.236.137.65:8060 193.112.208.216:8118 121.8.98.198:80 121.8.98.197:80 121.8.98.196:80 120.236.168.19:8060 123.207.6.117:80 阅读全文
摘要:
前提:看Scrapy架构图 不管什么Middlewares,都写在middlewares.py里面。 然后在settings.py里的DOWNLOADER_MIDDLEWARES或者SPIDER_MIDDLEWARES里面再设置中间件,这样中间件才细分为下载器中间件还是爬取中间件。 阅读全文