Fork me on GitHub
2019年5月15日
scrapy-redis源码解读之发送POST请求
摘要： scrapy-redis是对scrapy改进，在分布式爬虫开发上有卓越的表现，但由于scrapy-redis只从redis中读取起始url，导致发送POST困难，本文从源码出发，逐步探寻、解释scrapy-redis实例化request对象流程，并通过美团爬虫实例演示scrapy-redis框架发送POST请求方法。 阅读全文
posted @ 2019-05-15 07:32 奥辰 阅读(2807) 评论(0) 推荐(0) 编辑