摘要: 中国空气质量在线监测平台加密数据爬取 -中国空气质量在线监测分析平台是一个收录全国各大城市天气数据的网站,包括温度、湿度、PM 2.5、AQI 等数据,链接为:https://www.aqistudy.cn/html/city_detail.html,网站显示为: 该网站所有的空气质量数据都是基于图 阅读全文
posted @ 2020-01-07 16:58 xiongsheng 阅读(307) 评论(0) 推荐(0) 编辑
摘要: Python网络爬虫相关基础概念 爬虫介绍 引入 为什么要学习爬虫,学习爬虫能够为我们以后的发展带来那些好处?其实学习爬虫的原因和为我们以后发展带来的好处都是显而易见的,无论是从实际的应用还是从就业上。 我们都知道,当前我们所处的时代是大数据的时代,在大数据时代,要进行数据分析,首先要有数据源,而学 阅读全文
posted @ 2020-01-07 13:17 xiongsheng 阅读(125) 评论(0) 推荐(0) 编辑
摘要: 线程池 导包:from multiprocessing.dummy import Pool pool.map(callback,alist) 让callback可以异步将alist中的列表元素进行某种形式的操作 注意事项:callback必须要有一个参数、 主要是被应用在耗时的操作 单线程+多任务的 阅读全文
posted @ 2020-01-07 12:18 xiongsheng 阅读(117) 评论(0) 推荐(0) 编辑