苏永威-第二次作业
这个作业属于哪个课程 | https://edu.cnblogs.com/campus/fzzcxy/ZhichengSoftengineeringPracticeFclass/ |
---|---|
这个作业要求在哪里 | https://edu.cnblogs.com/campus/fzzcxy/ZhichengSoftengineeringPracticeFclass/homework/12532 |
这个作业的目标 | <使用fiddler抓包软件抓取数据,通过python输出数据> |
Github 地址 | https://gitee.com/su-yongwei/gitee-syw |
一、Pyhton爬虫+Fiddler抓包实时监控朴朴
解题思路描述:
-
1、启动Fiddler配置证书.
-
2、电脑登入微信启动扑扑app
-
3、分析url+请求头用python模块对数据对其进行解析.
-
4、扑扑超市实时价格波动监控设计实现过程
-
-
5、Gitee推送
-
运行效果:
二、Pyhton爬虫知乎收藏夹
解题思路描述:
-
1、查找相关内容与需要的数据
-
-
2、python创建请求头响应数据核对数据正确性
-
-
3、获取收藏夹内子文件的url
-
-
4、提取需要的响应数据处理数据
-
爬取中遇到的问题:处理中呈现的问题:爬虫是在两年前学的,python可以有很多种数据提取的方法,但是很久没有去写过爬虫了,所以我印象中只剩下一个xpath,不知道是不是版本的原因,插件能提取到的数据到pycharm里面竟然没办法呈现出来,最终处理了一天也没显示出数据
-
-
-
5、Gitee推送
-
三、Pyhton爬虫拉勾网
解题思路描述:
-
1、寻找需要的主数据
-
2、pycharm中处理数据获取响应
-
-
-
3、对数据进行爬取并解析处理
-
-
4、用pycharm中的模块将数据转换成表格
-
-
5、将表格转换成柱状图
-
-
-
-
-
6、Gitee推送
-
四、Gitee仓库
五、总结
相比之前的实验本次的实验更具有挑战性,难度也相对第一次的难,本次实验让我回顾了之前学习的爬虫的些许知识,因为时间过于长所以记忆中的东西并不是很多,本次实验感觉到pycharm相对之前安装模块比较麻烦,因为版本的更新加上新下载的pycharm里面模块装的位置并不是对的让我感到很繁琐。
本次实验花费了大量的时间但也不是什么都没有收获,至少之前的知识相对的拾起了部分。本次实验的收获很大。