第二次作业-python爬取网页及数据分析

这个作业属于哪个课程 <至诚软工实践F班>
这个作业要求在哪里 https://edu.cnblogs.com/campus/fzzcxy/ZhichengSoftengineeringPracticeFclass/homework/12532
这个作业的目标 <写上具体方面>
Github 地址 https://github.com/2293153945/212106768/

一.【必做】基础:使用 fiddler 抓包工具+代码,实时监控朴朴上某产品的详细价格信息

1.准备工作

  1. 下载fiddler 抓包工具
  2. 下载Anaconda3(用Jupyter做)
  3. 了解fiddler作用,基本配置和功能

2.解题思路

  1. 首先先了解fiddler,这是我第一次听到这个软件,直接到B站找的教程,才知道fiddler是可以用来测试接口的抓包工具,然后就是配置
    fiddler,下载并安装证书,手机和电脑连接同一个WiFi,并在手机上设置代理和安装证书(IOS还要设置信任证书,不然无法上网)
  2. 然后利用fiddler找到对应URL和请求头
  3. 交给Python爬取并且解析出需要的信息(之前有爬取过简单的网站也是用的Jupyter)

3.功能实现

1.先用fiddler进行找出url和请求头

(1)在电脑上下载证书并安装,让电脑在使用fiddler代理时能够正常访问网络
(2)让手机和电脑连接同一个WiFi,并且在手机上配置代理电脑的ip地址和对应端口
(3)在手机上也下载证书并安装(ios要还设置信任)
(4)手机上访问朴朴app,在fiddler中找出要使用用的url,和请求头

2.用Python让其访问前面提取的url


二.【选做】进阶:爬取自己的知乎收藏夹,以每个收藏夹的名称为大类,其下展示各个具体收藏文章的名称及其链接。

1.准备工作

  1. 下载fiddler 抓包工具
  2. 下载Anaconda3
  3. 了解fiddler作用,基本配置和功能

2.解题思路

  1. 首先配置fiddler
  2. 利用fiddler找到对应URL和请求头
  3. 交给Python爬取并且解析出需要的信息

3.功能实现

1.先用fiddler进行找出url和请求头

(1)在电脑上下载证书并安装,让电脑在使用fiddler代理时能够正常访问网络
(2)让手机和电脑连接同一个WiFi,并且在手机上配置代理电脑的ip地址和对应端口
(3)在手机上也下载证书并安装(ios要还设置信任)
(4)手机上访问知乎app,在fiddler中找出要使用用的url,和请求头

2.用Python让其访问前面提取的url



三.git提交代码

posted @ 2022-03-17 20:13  zzzhhhzzz  阅读(182)  评论(0编辑  收藏  举报