https://edu.cnblogs.com/campus/fzzcxy/ZhichengSoftengineeringPracticeFclass/ | |
---|---|
这个作业要求在哪里 | https://edu.cnblogs.com/campus/fzzcxy/ZhichengSoftengineeringPracticeFclass/homework/12532 |
这个作业的目标 | <培养良好编码习惯和面对新知识的自主学习能力以及学会使用抓包工具分析post、get协议,并模拟请取数据对json进行解析获取到想要的数据> |
Github 地址 | https://github.com/Ants2451/-/tree/main |
(1)解题思路
首先通过Fiddler找到朴朴获取商品信息的请求数据地址,然后使用java模拟请求,获取到商品信息JSON,然后对JSON进行解析和处理获得想要的信息
(2)实现过程
首先是爬虫类
然后是Json实体类
爬虫类中包含获Json的方法和监控价格的方法以及一些对数据进行处理的方法
Json实体类主要是用来将获取到的Json数据持久化转为实体,以便后续进行解析
获取Json数据
主函数
运行结果
2.基于java开发的知乎收藏夹的爬虫
(1)解题思路
首先通过Fiddler找到知乎获取收藏夹的请求数据地址,然后对请求到的收藏夹信息Json进行解析获得每个收藏夹的ID,通过id再去请求获取每个收藏夹的内容Json
(2)实现过程
首先是爬虫类
然后是Json实体类和收藏夹实体类
爬虫类中包含获Json的方法和获取每个收藏夹具体内容的方法以及一些对数据进行处理的方法
Json实体类和收藏夹实体主要是用来将获取到的Json数据持久化转为实体,以便后续进行解析
本题使用的获取Json数据的方法与上题一致,只需更换地址就可以获得数据
对数据进行处理
对数据进行展示
主函数
运行结果展示截图