会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Python不秋
人生苦短,我用Python。
博客园
首页
联系
订阅
管理
2019年1月14日
Spider-scrapy断点续爬
摘要: scrapy的每一个爬虫,暂停时可以记录暂停状态以及爬取了哪些url,重启时可以从暂停状态开始爬取过的URL不在爬取 实现暂停与重启记录状态 方法一: 1、首先cd进入到scrapy项目里(当然你也可以通过编写脚本Python文件直接在pycharm中运行) 2、在scrapy项目里创建保存记录信息
阅读全文
posted @ 2019-01-14 19:13 Python不秋
阅读(2704)
评论(0)
推荐(0)
编辑
公告