矿井数据获取
2023 -7-28 凌晨 0.15分,终于搞定了井下数据获取的难题,激动之情溢于言表,特此记录本次破题的方法。
1.矿井数据app引发的思考
之前已经下载了矿井数据监测的app,app内包括实时的瓦斯浓度等数据监测,但是并不提供下载等功能,
经过多次尝试,发现其具备数据折线图展示功能,同时该功能可以选择展示区间,
于是我选择起始日期跨度为一个月,可以成功展示;
通过上述操作,我得到了启发,可以通过爬虫对数据进行采集,
依据软件开发经验,100%是http或https接口传输数据,只要获取传输的json即可攻破该难题。
2.基于局域网代理,采用Fiddler爬取接口数据
(1)第一步,将手机与电脑置于统一wifi下,查看电脑的ip地址,我家的wifi不是公网地址
(2)第二步,设置手机代理,代理主机为192.168.2.5,确定fiddler运行占用的端口号,设置端口号为8888
(3)第三步,手机端访问192.168.2.5:8888,下载fiddler的CA证书,理论上来讲https应该都需要CA证书
(4)第四步,手机安装CA证书,登录app进行操作
3.Fiddler分析接口数据
在fiddler中,看到这个7774,这个size的报文,肯定是数据没毛病了,点击查看详情
可以看到,横纵坐标的json数据,x是时间戳,需要转换,简单测试了一下,datetime库实现,需要去除后三位的0