移动端+网页端全球疫情数据展示系统

写在前面:

本文所有代码已发布到github: web端:(https://github.com/wushenjiang/getWorldDataJava) 安卓端：(https://github.com/wushenjiang/GetWorldData)，需要代码的可以自行去clone。
3.23更新：原爬虫代码由于腾讯更改接口已失效，更新新的爬虫代码
4.4更新：腾讯又更改了接口，更新了新的爬虫代码
4.5更新：发现爬虫代码爬到的是旧数据,更新新的爬虫代码
2021年更新：服务器过期，删除服务器地址

需求:

设计思想:

  • 1.首先需要用Python写的爬虫(基本代码来自于前几天的博客https://www.cnblogs.com/wushenjiang/p/12466220.html,在其基础上进行了修改以爬取全球数据) 爬取全球数据,并存到服务器数据库。
  • 2.编写web端代码,通过连接服务器数据库获取数据,并实现基本的查询显示(分表和图两种形式)。
  • 3.编写移动端代码,连接同一个服务器数据库以获取数据,并实现基本的查询显示。

编程前准备:

  • 1.首先需要准备一个服务器，这里采用了阿里云的云服务器(请读者自行购买)。之后在服务器端部署mysql数据库和tomcat和JDK以部署web项目，部署教程见链接：https://www.cnblogs.com/yijialong/p/9606265.html
  • 2.web端为了美观，使用了bootstrap框架。需要了解bootstrap的使用。

爬虫代码展示：

import pymysql
import requests
import json
# 放入要爬的url
url_foreign = "https://api.inews.qq.com/newsqa/v1/automation/foreign/country/ranklist"
url_inside = "https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5"
# 设置header做一个防爬机制
header = {"user-agent": "Mozilla/5.0 (Linux; Android 8.0.0; Pixel 2 XL Build/OPD1.170816.004) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Mobile Safari/537.36"}
# 获取response的json
response_foreign = requests.get(url_foreign, headers=header)
response_inside = requests.get(url_inside,headers=header)
data_foreign = json.loads(response_foreign.content.decode())
data_str_foreign = data_foreign['data']
data_inside = json.loads(response_inside.content.decode())
data_str_inside = data_inside['data']
data_json_inside = json.loads(data_str_inside)
# 连接数据库
db = pymysql.connect(host='39.97.109.245', port=3306, user='root', password='abc456', db='yiqing', charset='utf8')
#使用cursor方法生成一个游标
cursor = db.cursor()
confirmed_total = 0
suspected_total = 0
dead_total = 0
healed_total = 0
# 更新时间
lastUpdateTime = data_json_inside['lastUpdateTime']
# 取出外国的数据
for foreignData in data_str_foreign:
    countryName = foreignData['name']
    confirmed = foreignData['confirm']
    confirmed_total += confirmed
    suspected = foreignData['suspect']
    suspected_total += suspected
    dead = foreignData['dead']
    dead_total += dead
    healed = foreignData['heal']
    healed_total += healed
    # 将外国数据上传到数据库
    sql = "insert into worlddata(id,countryname,confirmed,suspected,dead,healed,lastupdateTime) values({},'{}','{}','{}','{}', '{}','{}')".format(0, countryName, confirmed, suspected, dead, healed, lastUpdateTime)
    cursor.execute(sql)
    db.commit()
# 取出中国的数据
ChinaName = data_json_inside['areaTree'][0]['name']
china_confirmed = data_json_inside['areaTree'][0]['total']['confirm']
confirmed_total += china_confirmed
china_suspected = data_json_inside['areaTree'][0]['total']['suspect']
suspected_total += china_suspected
china_healed = data_json_inside['areaTree'][0]['total']['heal']
healed_total += china_healed
china_dead = data_json_inside['areaTree'][0]['total']['dead']
dead_total += dead_total
# 将中国数据上传到数据库
sql_china = "insert into worlddata(id,countryname,confirmed,suspected,dead,healed,lastupdateTime) values({},'{}','{}','{}','{}', '{}','{}')".format(
    0, ChinaName, china_confirmed, china_suspected, china_dead, china_dead, lastUpdateTime)
cursor.execute(sql_china)
db.commit()
# 将汇总数据上传到数据库
sql_total = "insert into worlddata(id,countryname,confirmed,suspected,dead,healed,lastupdateTime) values({},'{}','{}','{}','{}', '{}','{}')".format(0, 0, confirmed_total, suspected_total, dead_total, healed_total, lastUpdateTime)
cursor.execute(sql_total)
db.commit()

效果截图:

APP截图：


预估时间记录日志:

PSP2.1 阶段 时间
Planning 计划 3h45m
  • Estimate|估计这个任务需要多少时间 |3h45m|
    Development|开发 ||
  • Analysis|需求分析|1h30m|
  • Coding Standard|代码规范|15m|
  • Design|具体设计|30m|
  • Coding|具体编码|30m|
  • Test|测试|1h|
  • Count|总计|3h45min|

实际时间记录日志：

PSP2.1 阶段 时间
Development 开发
  • Analysis|需求分析|2h|
  • Coding Standard|代码规范|15m|
  • Design|具体设计|30m|
  • Coding|具体编码|45m|
  • Test|测试|1h30min|
  • Count|总计|5h|

测试用例分享：

WEB：

  • 1.国家 中国 表格
  • 2.国家 美国 图表
  • 3.时间 2020-03-17 表格
  • 4.时间 2020-03-17 图表
  • 5.时间 2020-03-18 图表

APP:

  • 1.国家 中国
  • 2.时间 2020-03-17
  • 3.时间 2020-3-17
  • 4.国家 美
  • 5.国家 意

总结:

本次作业也算是真正的体验了一把如何开发真正的项目，从WEB开发到APP开发再到部署到服务器，整个体验了一波如何构造一个小型项目，收益很大。由于安卓开发不是很熟练，所以花费了大量时间在查找资料和各种示例代码上，因为对安卓组件的不熟悉，每做一个都要百度一下这个组件怎么使用，也是极大的浪费了时间。以后会抓紧学习安卓开发，争取做出更好的APP。WEB端方面，正在学习SSM框架，等学习完后可能会将本项目进行重构。来日方长，加油吧自己。

posted @ 2020-03-18 10:58  武神酱丶  阅读(1054)  评论(2)  编辑  收藏  举报