Python爬虫-gb2312编码中文乱码问题

昨天帮人看了个bug

用python2爬取这个网站(view-source:http://op1.win007.com/Companyhistory.aspx?type=1&id=115&company=%CD%FE%C1%AE%CF%A3%B6%FB(%D3%A2%B9%FA)&matchdate=8-15)

 

在爬取2018/8/15日数据时中文是乱码

在爬取2018/8/15日数据时中文又不是乱码

 

第一反应肯定是编码解码问题

 

遂打开网页,查看源代码

果然需要解码

 

设置好gb2312解码后再运行

还是乱码

 

最后查资料发现,有些识别出gb2312的网页实际需要用gbk解码

gb2312支持的汉字较gbk要少很多

 

最后改为gbk解码成功得到预期输出

 

posted @ 2018-08-26 09:41  IMWU  阅读(644)  评论(0编辑  收藏  举报