使用Requests库简单的爬取一个页面内容

什么是Requests？

Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库。与urllib相比，Requests更加方便，可以节约我们大量的工作，建议爬虫使用Requests库。

requests请求方式

requests提供的请求各个请求方式：

import requests
requests.get(url)        # 发送一个 HTTP get请求：
requests.post(url)       # 发送一个 HTTP post请求： 
requests.put(url)        # 发送一个 HTTP put请求：
requests.delete(url)    # 发送一个 HTTP delete请求：
requests.head(url)        # 发送一个 HTTP head请求：
requests.options(url)    # 发送一个 HTTP options请求：

主要最常用的就是post和get请求

get请求

get请求核心代码是requests.get(url)，具体例子如下：

import requests
url = 'http://baidu.com'
response = requests.get(url)
print("response:", response)

运行输出结果为：

这里：<>表示这是一个对象，也就是我们这里获取的是一个response的对象，200表示状态码。

post请求

post请求核心代码是requests.post(url,data={请求体的字典})，具体例子（百度翻译）如下：

import requests
url = 'https://fanyi.baidu.com'
data = {'from': 'zh',
        'to': 'en',
        'query': '人生苦短，我用python'
        }
response = requests.post(url, data=data)
print("response", response)

data部分的参数，取自于页面NetWork→Headers→Form Data。打印出来的结果是：<Response [200]>。

 

response方法

获取网页的解码字符串

通过上述例子我们可以看到，不管是get请求还是post请求，我们得到的返回都是一个Response[200]的对象，但是我们想要得到的，应该是与网页response下一样的字符串对象，这时就需要用到response的方法了。

• response.text。获取网页的HTML字符串，该方式往往会出现乱码，出现乱码使用response.encoding='utf-8

  import requests
  url = 'http://baidu.com'
  response = requests.get(url)
  response.encoding = 'utf-8'
  print(response.text)

   

• response.content.decode()。把相应的二进制字节流转化为str类型。

  import requests
  url = 'http://baidu.com'
  response = requests.get(url)
  print(response.content.decode('gbk'))

   

在这里我总结了一下四种获取网页源码的四种方式，通过这四种方式，一定可以获取到网页正确解码之后的字符串：

• response.content.decode()
• response.content.decode('gbk')
• response.text
• response.encoding="utf-8"

获取其他属性

import requests
response = requests.get("http://www.baidu.com") 
print(type(response.requests.headers),response.requests.headers) #获取请求头
print(type(response.headers),response.headers) #获取响应头
print(type(response.cookies),response.cookies)#获取响应cookie
print(type(response.url),response.url) #获取响应url
print(type(response.requests.url),response.requests.url) #获取请求url