2018年12月21日
（三）爬虫之添加缓存
摘要： 对于爬取下来的网页进行缓存，可以方便下次访问，无需再次下载。实现过程可以分为两大块，一是实现下载器，二是实现缓存器。 1. 下载器： 下载器功能：下载时先查看缓存中是否保存url对应的文件，不存在时再去访问网页端，并将结果加入到缓存中，下载器代码如下： 在爬取网页时，使用下载器代码如下： 2. 缓存 阅读全文
posted @ 2018-12-21 21:47 silence_cho 阅读(948) 评论(0) 推荐(0) 编辑