疫情数据爬取及数据可视化
新型冠状病毒来袭，在此全国人民齐心抗疫之际，身为软件工程专业的一员，也要充分发挥专业能力，为疫情做点什么。
到目前为止，很多网站或者APP都新增了疫情数据分析这样一个栏目，这样一个专栏帮助用户充分了解全国各地乃至全世界的疫情情况，今天就特地做了这样的一个实战项目，来实现疫情数据的实时可视化。
首先，设计思路如下：
（1）使用爬虫爬取网站中的数据并存入数据库
（2）使用java做后端将数据库的内容传送到前端
（3）前端使用echarts框架对数据进行可视化
在爬取数据的时候，还是经历了一些小插曲，我爬取的网站如下：
https://news.qq.com/zt2020/page/feiyan.htm#/
首先就是按照爬虫套路查看网页源代码，可以看到效果如下：
很容易发现，class为areaBox的 tr 标签中保存的是各省的数据，其中的area为省份名称，其余不包含class的 td保存的是疫情的各项人数，而class为 city 的tr中保存的是各个城市的数据，其中，area为城市名称，其余td保存的疫情各项的人数。
在这样的简单分析之后，顿时感觉这实在是太小儿科了，两个嵌套for循环就可以搞定，于是开始编写爬虫，初始测试爬虫代码如下：
import requests from bs4 import BeautifulSoup url = "https://news.qq.com/zt2020/page/feiyan.htm#/" r = requests.get(url) html = r.text soup = BeautifulSoup(html,"lxml") print(soup.prettify())
运行之后，打印数据是这样的
只有一坨 js 代码还有页面头部的几个div，并没有找到我们想要的标签。迟疑了一瞬间，恍然醒悟数据应该是通过js发送请求之后从后台传回来的。直接看这一段HTML代码，果然什么都看不出来。没办法，F12去浏览器控制台看看到底发生了什么数据交换的操作吧。（微软的浏览器用的有点鸡肋，这里切一下Chrome）可以看到服务器返回了这些数据：
可以看到除了无关紧要的png图片等资源，还返回了这样一堆js文件，一看名字，这些get***Info可能就是我们需要的，检查一下它的地址，然后复制打开
瞬间激动了有木有！！这不就是现成的json数据么，还分析个球的HTML标签，直接爬起来！！！
（激动过头了）先分析一下json的格式和我们需要的“树”，首先可以看到开头有个name 中国的字样，由于该网站支持其他国家的数据，如下：
所以我们解析json的时候就要通过它来筛选本国的数据，那么，在中国下面，又有这样一些数据：
很显然，在name的子数据中，key为children的数据就是对应的各省份的数据（其他省份格式相同，不再给出截图），与此同时，在省份下面的各个城市，同样是以children标签保存数据的
以武汉为例，today中是今日新增的确诊，total中是截止到目前的总人数，也是我们需要的数据，简单翻译可知，confirm为确诊人数，dead为死亡人数，heal为治愈人数，那么数据的更新时间在哪儿呢？json开头我们可以看到这样的字样：
在该文件的其余地方均没有类似时间字样的key，不难推断出，它就是最新的数据更新时间。
OK，到此为止，分析完成，代码搞起来！
import requests import json from pymysql import * #连接数据库的方法 def connectDB(): try: db=connect(host='localhost',port=3306,user='root',password='010218',db='payiqing_db') print("数据库连接成功") return db except Exception as e: print(e) return NULL db=connectDB() #向数据库中插入数据的方法 def insertInformation(db,table,Date,Province,City,Confirmed_num,Yisi_num,Cured_num,Dead_num,Code): cursor=db.cursor() try: cursor.execute("insert into %s(Date,Province,City,Confirmed_num,Yisi_num,Cured_num,Dead_num,Code) values('%s','%s','%s','%s','%s','%s','%s','%s')" % (table,Date,Province,City,Confirmed_num,Yisi_num,Cured_num,Dead_num,Code)) print("插入成功") db.commit() cursor.close() return True except Exception as e: print(e) db.rollback() return False def queryInformation(city): cursor = db.cursor() sql = "SELECT * FROM info WHERE City = '%s'" % (city) try: # print(sql) # 执行SQL语句 cursor.execute(sql) # 获取所有记录列表 results = cursor.fetchone() return results[-1] except Exception as e: print(e) db.rollback() def clearTable(date): cursor = db.cursor() sql="delete from info2 where Date = '%s'"% (date) try: print(sql) # 执行SQL语句 cursor.execute(sql) except Exception as e: print(e) db.rollback() def get_data(): url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5' json_text = requests.get(url).json() data = json.loads(json_text['data']) update_time = data['lastUpdateTime'] all_counties = data['areaTree'] all_list = [] for country_data in all_counties: if country_data['name'] == '中国': all_provinces = country_data['children'] for province_data in all_provinces: province_name = province_data['name'] all_cities = province_data['children'] for city_data in all_cities: city_name = city_data['name'] city_total = city_data['total'] province_result = {'province': province_name, 'city': city_name,'update_time': update_time} province_result.update(city_total) all_list.append(province_result) clearTable(all_list[0].get("update_time")) for info in all_list: print(info) insertInformation(db,"info2",info.get("update_time"),info.get("province"),info.get("city"),info.get("confirm"),info.get("suspect"),info.get("heal"),info.get("dead"),queryInformation(info.get("city"))) if __name__ == '__main__': get_data()
以上代码包含数据库的更新，读者可根据自己数据库的配置自行修改。
然后就是数据可视化了，这里只给出截图吧，完整代码后续会上传到我的GitHub中。
最后，附上实现本次项目的PSP表格
