会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
CYHua
博客园
首页
新随笔
联系
订阅
管理
2020年2月11日
Python从零开始写爬虫-6 重复抓取,代理以及总结
摘要: 在前面一节中,我们终于获得了自己的离线小说, 但是也存在一些问题. 每次都重新抓取 在实际中,很难保证一次抓取就抓取到自己全部需要的网页,所以我们需要避免重复抓取.这里一般有两种策略. 1. 确定我还有多少没有下载 2. 确定我下载了多少 第一种方法, 获取一次目录之后,将需要下载的章节本地保存,
阅读全文
posted @ 2020-02-11 16:19 CYHua
阅读(421)
评论(0)
推荐(0)
编辑
公告