团队作业-冲刺二(3)

对利用爬虫,从知网爬取的信息进行处理,

 

在爬取网页过程中，发现得到的网页源码打印出来后，是乱码，最终发现是因为网页源码的编码方式并不是UTF-8,因此，为了得到可以用于解析的的网页源码，需要对网页源码进行转码，首先从原始编码方式转化为通用型的Unicode，然后再转码为：UTF-8, 转码方式：

f=requests.get(test,headers=headers) # 获得网页源码

ftext=f.text.encode(f.encoding).decode('utf-8') # 转码成可以分析的编码