肖霆锋--第二次作业
这个作业属于哪个课程 | https://edu.cnblogs.com/campus/fzzcxy/ZhichengSoftengineeringPracticeFclass |
---|---|
这个作业要求在哪里 | https://edu.cnblogs.com/campus/fzzcxy/ZhichengSoftengineeringPracticeFclass/homework/12532 |
这个作业的目标 | 掌握网络爬虫技术 |
Github 地址 | https://github.com/sweetfish1/PJ |
【必做】基础:使用 fiddler 抓包工具+代码,实时监控朴朴上某产品的详细价格信息。
解题步骤
1、学习并使用fiddler抓取朴朴的数据包
2、搭建python编译环境
3、学习python抓包代码
4、使用python抓取数据包,获取数据
实现过程
爬取朴朴微信小程序的商品数据
使用fiddler爬取商品信息
使用浏览器可以清楚的看见商品的名称、价格、和属性
使用IDEA编写python代码
在IDEA的File->Settings->Plugins搜索Python
用代码实现爬取商品信息并筛选出有用的信息
上传git
过程总结
这次作业刚拿到手的时候我都内心是很慌的,因为爬虫、python这些我以前都没接触过,这次拿到这个作业就意味着要从零开始。开始时我完全没有头绪,只能现在网上找一些fiddler的教程,后来群里有同学发的教程,就跟着教程一起学习了,再加上同学们的帮助,最后还是勉强完成了这次任务,接下来如果有空闲时间的话我还是很乐意继续接触网络爬虫这门技术的,网络爬虫这么技术对我来说还是很感兴趣的。