随笔分类 -  scrapy

python - scrapy 爬虫框架 ( redis去重 )
摘要：1. 使用内置，并加以修改 ( 自定义 redis 存储的 keys ) 2. 自定义 阅读全文
posted @ 2019-03-18 13:35 _Q 阅读(1929) 评论(0) 推荐(0) 编辑
python - scrapy 爬虫框架 ( 起始url的实现，深度和优先级，下载中间件 )
摘要：1. start_urls -- 起始URL 的内部实现（将迭代器转换为生成器） 2. 深度和优先级 3. 下载中间件 阅读全文
posted @ 2019-03-18 13:19 _Q 阅读(1198) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示