requests快速构造请求头的方法

 

 上图请求头内容，内容多不说，也不确认哪些数据是必须的，网上找到一个懒办法

快速一键生成 Python 爬虫请求头

实战演练

抓取网站：https://developer.mozilla.org...

网站在线转换

1，Chrome 打开开发者选项（ f12 ）---> network 选项卡 ---> 刷新页面,获取请求 ---> 找到页面信息对应的请求 (通过请求的名称、后缀和 response 内容来判断)

 

 2，右键，copy ---> copy as cURL (bash)，注意不是【copy as cURL (cmd)】

 

 3，打开网站，https://curl.trillworks.com/，粘贴 cURL (bash) 到左边 curl command，右边会自动出 Python 代码

 

 4，生成代码如下图

 

5，print ( response.text ) 就可以直接打印网页源代码啦！

 

Postman

1，下载 postman ( Chrome 也有个 postman 的插件，操作应该差不多)

2，打开 postman，弹出的界面可以直接关掉

3，import --> paste raw text，在 Chrome 里复制 curl (bash)，粘贴到下面的对话框里，点击 import 按钮

4，点击 send，模拟网络请求，下方可查看源代码

5，确保源代码正常后，点击 code

6，左上角可以选择编程语言，右上角复制到剪贴板

大功告成！