Python爬虫-gb2312编码中文乱码问题
昨天帮人看了个bug
用python2爬取这个网站(view-source:http://op1.win007.com/Companyhistory.aspx?type=1&id=115&company=%CD%FE%C1%AE%CF%A3%B6%FB(%D3%A2%B9%FA)&matchdate=8-15)
在爬取2018/8/15日数据时中文是乱码
在爬取2018/8/15日数据时中文又不是乱码
第一反应肯定是编码解码问题
遂打开网页,查看源代码
果然需要解码
设置好gb2312解码后再运行
还是乱码
最后查资料发现,有些识别出gb2312的网页实际需要用gbk解码
gb2312支持的汉字较gbk要少很多
最后改为gbk解码成功得到预期输出