谢泓霖---第二次作业
| 这个作业属于哪个课程 | |
|---|---|
| 这个作业要求在哪里 | https://edu.cnblogs.com/campus/fzzcxy/ZhichengSoftengineeringPracticeFclass/homework/12532 |
| 这个作业的目标 | 学习使用Python和抓包工具实现数据的抓取 |
| Github地址 | https://github.com/kaibai114514/212106786-2 |
解题思路
首先是对fildder抓包工具进行下载安装,打开后初步了解页面,然后去B站看视频学习如何使用抓包工具 (BV1cr4y1T7rL). 因为第一题的目标是要实时爬取朴朴的商品数据,所以也在B站上看了Python的速学教程 (BV1ha4y1H7sx).
在对其有了初步的了解之后,我确定了基本的方向和步骤.首先要通过抓包工具捕获朴朴发起的请求,获取数据,再从数据中获取到需要的部分.为了实时获取数据,可能需要通过循环多次发起请求来实现.
fildder配置
安装fildder后需要对其进行设置的修改.
电脑连接手机热点,获取本机的ip地址,在浏览器打开 ip地址:端口 ,下载证书.
fildder抓包
打开fillder抓包工具,在电脑打开微信小程序朴朴超市,随意选择一个商品,在fildder中找到抓到的数据.
User-Agent,即ua伪装,把爬虫发送的请求伪装成一个通过微信小程序发起的请求,使服务器不会拒绝该请求.
复制网址,在浏览器中打开该网址就是我们得到的数据,可以通过json键值对的方法获取我们需要的数据.
python代码
运行效果
问题
如果过于频繁的向服务器发起请求,会获取到该商品已下架的数据(下图左),和fillder里的json数据不一致(下图右),没有找到解决方案.
总结
本次作业考验了我们的自主学习能力.在遇到以前没有使用过的新东西时,要充分查阅资料,查看视频教学来快速掌握.在本次学习中初步掌握了抓包工具,也初步了解了python语言,感觉收获颇丰.
