爬虫之抓包利器

说到爬虫，除了页面元素解析，大家也不会陌生接口解析，有些通过浏览器F12调试模式即可查看，但是有些浏览器的网站调试模式不让开启，这个只能使用抓包工具来抓取啦。

 

推荐两款抓包工具

charles     fiddler

 

最近在配置的时候，看到很多人反映网上的抓包配置不太能解决问题，根本抓不到东西，很多都是443或者显示unknow，怎么处理呢。

 

这里贴出解决办法，亲测可用。(特地给电脑的抓包卸载了，重新安装，并附上以下配置相关信息)

 

安装就不多说了 ， 大家去各自两个抓包的官网自行下载。

 

 

charles配置抓包环境

第一步： 然后根据以下操作的第一步和第二步后，配置受信任的证书

 

 

 

第二步：

在proxy的SSL Proxying Settings 配置enable ssl proxying，按以下相关配置使用即可

 

 

 

 

 

fiddler配置

 

 直接勾选以下内容save，等待一会即可ok