scrapy.Request的旅行
摘要:
使用代理池跑爬虫时,特别关注每个请求是否使用了代理,所以就有了接下来的收获,也有个问题同大家分享。 spider产生请求,例如在for循环中yield,这个生成器会在进入middlewares或下载器之前就被迭代,放入请求队列。 经过middlewares,队列中每个请求均被处理(如设置cookie 阅读全文
posted @ 2019-02-13 10:29 bigBenn 阅读(111) 评论(0) 推荐(0) 编辑