摘要: 前面介绍了python在ubuntu16.04环境下,python的虚拟环境virtualenv的安装,下面介绍在windows环境下的安装和使用。 环境信息 操作系统:windows10 python版本:3.6.3 安装 1. 下载安装python3.6.3 进入官网:https://www.p 阅读全文
posted @ 2018-01-03 22:33 倥偬时光 阅读(50342) 评论(0) 推荐(6) 编辑
摘要: 爬虫的分类 按使用场景: 1. 通用爬虫:指搜索引擎的爬虫 2. 聚焦爬虫:指针对特定网站的爬虫 聚焦爬虫又可以分为大致3种: 1. 累积式爬虫: 从开始到结束,一直不断爬取,过程中会进行去重操作; 2. 增量式爬虫: 对已经下载的网页采取增量式更新和只爬行新产生的或者已经发生变化网页的爬虫; 3. 阅读全文
posted @ 2018-01-03 09:50 倥偬时光 阅读(1517) 评论(2) 推荐(2) 编辑