爬虫编码问题
网站名称:
http://yw.eywedu.com/24/
使用requests 抓取的网页编码格式 为GB2313
使用 response.text 乱码
使用response.content.decode('utf8') 或者 GBK 解码 报错
解决办法:
while True: ht_response = requests.get(url=url, headers=self.headers, proxies=proxies) if ht_response.status_code != 200: continue else: break
# 设置response 的编码格式为GBK ht_response.encoding = 'GBK' response=ht_response.text
查看response的编码格式
encodings = requests.utils.get_encodings_from_content(resp.text) print(encodings)