2017年10月29日
下载缓存
摘要： 以下内容是《用python写网络爬虫》的读书笔记 之所以要缓存下载页面，是为了避免重复下载所造成的资源浪费。 一、为链接爬虫添加缓存支持 我们将重写download函数，将其变成一个类。 所谓的为链接爬虫添加缓存支持，就是在每次下载页面的时候判断以下这个页面是不是之前已经下载过了，如果已经下载过了， 阅读全文
posted @ 2017-10-29 18:14 whatyouknow123 阅读(578) 评论(0) 推荐(0) 编辑