request模块在Python2和Python3的区别

在python2环境下：

response.text是unicode数据类型，而response.content是字符串类型

 

python2环境下数据类型

分别查看response.text和response.content的内容

接下来分别print   response.text和response.content的内容，发现response.content可以正常显示

，而response.text依然是乱码，为了解决这一问题可以查看下默认的编码方式

 

默认编码方式

设置编码方式为utf-8

        r.encoding='utf-8'  #此处写成utf8也可以

然后分别print  r.text和r.content可以看到文字部分显示正常

 

在python3环境下：

response.text是str数据类型，而response.content是bytes类型

 

python3环境下数据类型

查看r.text和r.content文字均未正确显示出来，print之后也没有正确显示，依然是默认编码的问题

设置编码方式

r.encoding='utf-8'

此时查看r.text发现文字部分已经可以正确显示

由于r.content是bytes类型，还需要解码，即通过r.content.decode()查看即可正常显示文字部分

 

总结：由于我们所要抓取的网站有的进行了编码设置，有的没有设置编码方式依然是默认的ISO-8859-1编码方式，所以可以优先使用response.content，因为response.content不需要设置编码方式即可正常获取内容，只需要注意response.content在python2环境下不需要解码，在python3环境下需要解码即可。

                另外，一般对于获取的响应内容编码的问题，可以先print，依然没有正常显示文字，可以设置编码方式为utf8或者gbk，通常能解决大部分编码的问题。

作者：python_spider
链接：https://www.jianshu.com/p/2804b69e3383
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。