1、python-爬虫-request和beautifulsoup4模块-Fidder爬取网页工具

1、安装模块

>beautifulsoup4模块依赖于lxml模块

pip install lxml -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
pip install beautifulsoup4 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

2、导入模块

import requests                      #获取网页
from bs4 import BeautifulSoup        #解析网页

 

3、安装Fidder工具：https://www.telerik.com/download/fiddler

>安装：

Fiddler Classic（经典版），这个版本是免费的，不过只能在Windows上使用。

Fiddler Everywhere可以在所有平台使用，并且相当于Fiddler Classic+postman，但是是收费的。

安装完后打开：

• 对Fiddler进行设置：打开工具栏->Tools->Fiddler Options->HTTPS
• 选中Capture HTTPS CONNECTs，因为我们要用Fiddler获取手机客户端发出的HTTPS请求，所以中间的下拉菜单中选中from remote clients only。选中下方Ignore server certificate errors.

• 配置Fiddler允许远程连接
• 
• 重启Fidler（这一步很重要，必须做）。

 

Fiddler 如何捕获Chrome的会话

• switchyomega安装插件

• FQ工具：http://www.ishadowsocks.org/https://github.com/getlantern/lantern

  打开网址 https://chrome.google.com/webstore/search/switchyomega?hl=zh-CN

Fiddler如何捕获HTTPS会话

默认下，Fiddler不会捕获HTTPS会话，需要你设置下， 打开Fiddler Tool->Fiddler Options->HTTPS tab