Python爬虫获取html页面乱码解决方案
用python做网页爬虫时经常会出现乱码问题。下面给出解决中文乱码问题的解决方法。
需要安装chardet模块
pip install chardet
安装是否成功 使用pip list命令查看, 如果有出现chardet说明安装OK
示例:
爬取网易网页时,返回的html页面出现乱码,网易是GB2312编码, 解决如下:
import urllib2 import sys import chardet req = urllib2.Request("http://www.163.com/") content = urllib2.urlopen(req).read() typeEncode = sys.getfilesystemencoding() # 获取系统默认编码 infoencode = chardet.detect(content).get('encoding','utf-8') # 通过第3方模块来自动提取网页的编码 html = content.decode(infoencode,'ignore').encode(typeEncode) # 先转换成unicode编码,然后转换系统编码输出 print html