2020年2月11日
Python从零开始写爬虫-6 重复抓取,代理以及总结
摘要： 在前面一节中,我们终于获得了自己的离线小说, 但是也存在一些问题. 每次都重新抓取 在实际中,很难保证一次抓取就抓取到自己全部需要的网页,所以我们需要避免重复抓取.这里一般有两种策略. 1. 确定我还有多少没有下载 2. 确定我下载了多少 第一种方法, 获取一次目录之后,将需要下载的章节本地保存, 阅读全文
posted @ 2020-02-11 16:19 CYHua 阅读(423) 评论(0) 推荐(0) 编辑