2015年9月7日
(3)分布式下的爬虫Scrapy应该如何做-递归爬取方式，数据输出方式以及数据库链接
摘要： 放假这段时间好好的思考了一下关于Scrapy的一些常用操作，主要解决了三个问题： 1.如何连续爬取 2.数据输出方式 3.数据库链接一，如何连续爬取： 思考：要达到连续爬取，逻辑上无非从以下的方向着手 1)预加载需要爬取的列表，直接到这个列表都处理完，相应的爬取工作都已经完成了。 2)从第一页开始... 阅读全文
posted @ 2015-09-07 15:35 爱吃猫的鱼 阅读(5062) 评论(3) 推荐(2) 编辑
点击右上角即可分享
微信分享提示