2018年2月24日
scrapy-redis 分布式学习记录
摘要： 学习了scrapy 爬虫框架 觉得这个框架做数据抓取很好用，但是不支持分布式。网上查了有大牛在它基础上进行改进出了一个scrapy-redis 的框架 在网上找了很多教程，但是都没有说到基于scrapy-redis从 0 搭建分布式 爬虫框架的。 因此我决定自己从 0 开始搭建 并把整个过程记录下来 阅读全文
posted @ 2018-02-24 18:00 晴天小猫 阅读(325) 评论(0) 推荐(0) 编辑