python开源项目Scrapy抓取文件乱码解决

scrapy进行页面抓去的时候，保存的文件出现乱码，经过分析是编码的原因，只需要把编码转换为utf-8即可，代码片段

......

import chardet

......

        content_type = chardet.detect(html_content)

        #print(content_type['encoding'])

        if content_type['encoding'] != "UTF-8":

            html_content = html_content.decode(content_type['encoding'])

        html_content = html_content.encode("utf-8")

        open(filename,"wb").write(html_content)

....

这样保存的文件就是中文了。

步骤:

先把gb2312的编码转换为unicode编码

然后在把unicode编码转换为utf-8.