同时访问多个不同编码的网站，不乱码存入MySQL 

1 if req.encoding == 'ISO-8859-1':
2     tree = etree.HTML(req.content)
3 else:
4     tree = etree.HTML(req.text)

 

然后再直接写入例如：

1 connect.escape(tree.xpath("//title/text()")[0])

 

用的requests，可以自动识别编码，但是有时候还是不行。

else指无论gbk还是gb2312还是utf-8，requests可以正确识别这些。

posted @ 2017-11-16 11:00  shadowhu  阅读(164)  评论(0)  编辑  收藏  举报