会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
爱吃猫的鱼
===GitHub:https://github.com/BruceDone===
===mysite:brucedone.com===
博客园
首页
新随笔
联系
订阅
管理
2015年9月7日
(3)分布式下的爬虫Scrapy应该如何做-递归爬取方式,数据输出方式以及数据库链接
摘要: 放假这段时间好好的思考了一下关于Scrapy的一些常用操作,主要解决了三个问题: 1.如何连续爬取 2.数据输出方式 3.数据库链接一,如何连续爬取: 思考:要达到连续爬取,逻辑上无非从以下的方向着手 1)预加载需要爬取的列表,直接到这个列表都处理完,相应的爬取工作都已经完成了。 2)从第一页开始...
阅读全文
posted @ 2015-09-07 15:35 爱吃猫的鱼
阅读(5052)
评论(3)
推荐(2)
编辑
公告