请求数据: urllib,requests

urllib

Python内置的http请求库（比较古老，现在使用频率低），包括如下模块：

• requests：http请求模块，用来模拟发送请求，传入url及额外参数
• error：异常处理模块，如果出现请求错误，可以捕获异常
• parse：提供url处理方法，如拆分，解析，合并等
• robotparse：识别网站的robots.txt文件，判断哪些网站可以爬

发送请求：两种方法:

• urlopen()：最基本的构造HTTP请求的方法，模拟浏览器的一个请求 发起过程,可get请求或post请求
• Request：声明一个request对象，该对象可以包括header等信息， 然后用urlopen打开

requests

python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高

headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
}
param = {
    'query':kw
}

#get方法会返回一个响应对象
response = requests.get(url=url,params=param,headers=headers)
#post请求参数处理（同get请求一致）
response = requests.post(url=post_url,data=param,headers=headers)

#获取响应数据.text返回的是字符串形式的响应数据
page_text = response.text
#获取响应数据:json()方法返回的是obj
page_json = response.json()
#获取响应数据.content方法返回的是二进制数据
page_bytes = response.content