python得scrapy抓中文,保存csv、json、txt文件乱码解决方法
保存json和txt文件,出现这种东西不是乱码,是unicode,例如:
\u96a8\u6642\u66f4\u65b0> \u25a0\u25a0\u25a
在settings.py文件中加入下面一句code,之后就是中文了。
FEED_EXPORT_ENCODING ='utf-8'
保存csv表格文件时,会出现中文乱码,这个确实是乱码,例如:
瀵掑啲瀹濈彔鎶勮鎴愬姛 鐖嗗彂浼ゅ 40涓?寮€蹇冧竴涓?
在settings.py文件中加入下面一句code,表格就是中文了
FEED_EXPORT_ENCODING = 'gb18030'
所以,编程时,只要有中文,把上面两句直接先复制在settings文件里,生成文件时就不会错了。
还有一个地方也会引起乱码,就是由 scrapy startproject 生成的项目文件的编码格式不是 utf-8,在这些文件中写中文的时候就会出现异常,出现乱码,所以要把文件的编码格式改成 utf-8就正常了。