课堂练习-数据爬取
一、要求
1、编程爬取每日最新的疫情统计数据。
2、并将爬取结果导入到数据库中。
3、将可视化结果与统计数据结合,实时显示当前最新数据。
二、学习及编写过程的psp表
日期 | 开始时间 | 结束时间 | 中断时间 | 净时间 | 活动 | 备注 |
2020-3-10 | 15:46 | 17:13 | 3分钟 | 两小时 |
复习python的requests库的使用 学习python的pymysql的使用 学习python的retry库的使用 |
requests库:选修课的PPT和实验的源代码 pymysql:https://www.cnblogs.com/chongdongxiaoyu/p/8951433.html retry:https://www.cnblogs.com/feffery/p/10347348.html |
17:16 | 18:04 | 48分钟 | 学习如何获取界面中动态生成的数据 | 问同学,百度、看博客。 | ||
18:05 | 19:11 | 66分钟 | 编写程序 | 将诸多案例拼凑整合修改 | ||
19:12 | 19:23 | 11分钟 | 建数据库表,测试,修改程序 | 只会让数据库的表的字段去适应json中的数据的键,不会自定义 | ||
19:24 | 19:39 | 15分钟 | 实现可视化展示 | 重构上周的代码 |
三、源代码
github:https://github.com/xiaotian12-call/Reptile_Epidemic-situation