2018年9月26日
爬虫——综合案例流程版
摘要： 爬虫综合案例 开发步骤： 导入类库 创建爬虫通用类 初始化init方法 类中编写重试下载模块 类中编写真正下载模块 类外编写保存函数 类外编写获取robots.txt函数 类外编写抽取网址函数 类中编写网址正常化函数 创建下载限流类 爬虫通用类封装run方法 创建爬虫对象运行 导入类库 reques 阅读全文
posted @ 2018-09-26 20:13 BO00097 阅读(373) 评论(0) 推荐(0) 编辑