2019年9月17日
scrapy-redis分布式爬取猫眼电影
摘要： 能够利用redis缓存数据库的优点去重来避免数据的大面积冗余 1、首先就是要创建猫眼爬虫项目 2、进入项目内部创建一个爬虫文件 创建完文件之后就是要爬取的内容，我这边以爬取猫眼电影的title和link为例（这个完全看个人你可以先去写爬虫，然后再来写items文件） 3、编写item文件 4、编写爬 阅读全文
posted @ 2019-09-17 08:50 tulintao 阅读(403) 评论(0) 推荐(0) 编辑