scrapy.Request的旅行
摘要：
使用代理池跑爬虫时，特别关注每个请求是否使用了代理，所以就有了接下来的收获，也有个问题同大家分享。 spider产生请求，例如在for循环中yield，这个生成器会在进入middlewares或下载器之前就被迭代，放入请求队列。 经过middlewares，队列中每个请求均被处理（如设置cookie 阅读全文
posted @ 2019-02-13 10:29 bigBenn 阅读(111) 评论(0) 推荐(0) 编辑
