沈丹--第二次作业

这个作业属于哪个课程 https://edu.cnblogs.com/campus/fzzcxy/ZhichengSoftengineeringPracticeFclass
这个作业要求在哪里 https://edu.cnblogs.com/campus/fzzcxy/ZhichengSoftengineeringPracticeFclass/homework/12532
这个作业的目标 <学习用fiddler 抓包工具+代码爬虫,抓取网络上的数据,把爬虫代码与git库交互>
Github 地址 https://github.com/212106731/212106731-2

解题思路描述

大专的学习有接触过用python语言进行爬虫,但所做的案例都比较简单,当看到这个作业时,要求用fiddler进行对数据抓包,这是我之前没接触过的。我通过百度,哔哩哔哩网站搜索教学视频学习,用fiddler软件对朴朴数据进行抓取。朴朴是手机上的一个APP,没有网页端,我通过下载暗夜模拟器模拟手机环境,对其进行网络数据配置后,对连到朴朴APP ,抓取数据,用fiddler监听获取到的网页,用PyCharm软件进行python代码的编写。

1.朴朴抓取的商品信息

2.fiddler抓取数据

3.url访问的网页内容

4.代码文件

a.导包

b.访问朴朴商品信息网页,获取数据

c.提取关键信息

d.多次访问监听

e.代码运行结果

5.通过git上传py文件

6.重新commit

7.总结

采用老师点拨在自主学习的方式,自己动手尝试代码生成的整个过程,从发现问题到解决问题,都会留下深刻的印象,但就是自主学习需要花费更多是时间,学习过程中的问题可能会选择更快捷的询问老师或者同学的方式来得到解决,这次的作业虽然让我花了许多时间,但我也学会了如何通过fiddler+代码的方式爬取数据,这也对于我后续实习生活提供了许多帮助。计算机的代码从实践方面入手自然会比从理论入手来的更清晰直接,作业对我来说有着许多方面的难题,比如代码方面语法不熟悉,git传输数据遇到问题,这些都是在告诉我知识方面还存在着薄弱的地方,还需要再努力,我会花更多的时间来学习,通过实践学习更透彻。
posted @ 2022-03-19 23:55  不加糖的小垃圾  阅读(49)  评论(0编辑  收藏  举报