摘要: 1.Scrapy-redis简介 scrapy-redis是scrapy框架基于redis数据库的组件,用于scrapy项目的分布式开发和部署。 有如下特征: 分布式爬取,可以启动多个spider工程,相互之间共享单个redis的requests队列。最适合广泛的多个域名网站的内容爬取。 分布式数据 阅读全文
posted @ 2019-08-03 11:58 麦小秋 阅读(194) 评论(0) 推荐(0) 编辑
摘要: 参考文章:https://www.cnblogs.com/alex3714/articles/5230609.html 阅读全文
posted @ 2019-08-03 11:30 麦小秋 阅读(115) 评论(0) 推荐(0) 编辑
摘要: 1.常用xpath表达式 属性定位: #找到class属性值为song的div标签 //div[@class="song"] 层级&索引定位: #找到class属性值为tang的div的直系子标签ul下的第二个子标签li下的直系子标签a //div[@class="tang"]/ul/li[2]/a 阅读全文
posted @ 2019-08-03 01:50 麦小秋 阅读(256) 评论(0) 推荐(0) 编辑