Python爬虫学习之Requests库

Requests请求库

Requests 是⽤Python语⾔编写，基于urllib，采⽤Apache2 Licensed开源协议的 HTTP 库。它⽐ urllib 更加⽅便，可以节约我们⼤量的⼯作，完全满⾜HTTP测试需求。

⼀句话——Python实现的简单易⽤的HTTP库

1. 了解requests库

requests库的介绍

requests是一个优雅而简单的Python HTTP请求库

requests的作用是发送请求获取响应数据

requests安装

进入命令行win+R执行

命令：pip install requests

项目导入：import requests

注意：

如果你要安装python虚拟环境中，先进行虚拟机环境在进行上述命令

如果系统中既安装了python2，又安装了python3，需要安装python3环境中：pip3 install requests

2. requests的基本使用

 导入模块

import requests

 

 发送get请求，获取响应

response= requests.get('http://www.baidu.com')

 

 从响应中获取数据

resp.encoding = 'utf-8')    #进行编码，设置为utf-8

print(response.text)

print(response.content.encode())

content响应的二进制数据，再使用encode进行解码。

 

response常见属性

response.ext：响应体str类型

response.encoding: 二进制转换字符使用的编码

response.content: 响应体bytes类型

 

 

3.案例：请求疫情首页

案例：需求，获取疫情数据

代码：

 # 导入模块
import requests


 # 发送get请求，获取响应
response= requests.get('http://ncov.dxy.cn/ncovh5/view/pneumonia')


 # 从响应中获取数据
response.encoding = 'utf-8'    #进行编码，设置为utf-8

print(response.text)

print(response.content.decode())