解决python2.7 UnicodeDecodeError和UnicodeEncodeError问题

最近在项目中,读取上传的csv文件,并写入时,会报编码问题,

                    with open(origin_file_path, mode='wb')as f:
                        for chunk in file_obj:
                            f.write(chunk)

UnicodeDecodeError: 'utf8' codec can't decode byte 0xc4 in position 0: invalid continuation byte

刚开始以为是对方上传的文本编码格式有问题,所以让对方用Notepad++,打开编辑后保存

刚开始一段时间,没有再出现错误,最近,错误再次发生,即使用上面说的编辑器也没用

                    with open(origin_file_path, mode='wb')as f:
                        for chunk in file_obj:
                            f.write(chunk.decode('gbk')

后面考虑,可能是因为有中文,需要进行gbk编码,所以在写入文件时我按gbk写入后,发现问题解决了,不会再报上面这个错误

但是当我把把更新的文件放到服务器上后,发现,又报另外一个错误错误

UnicodeEncodeError: 'ascii' codec can't encode characters in position 42-57: ordinal not in range(128)

可能是因为linux默认是utf-8编码。所以报错

然后我又转成utf-8,完美解决问题,代码如下  

                    with open(origin_file_path, mode='wb')as f:
                        for chunk in file_obj:
                            f.write(chunk.decode('gbk').encode('utf-8'))

 

 

posted @ 2018-06-01 16:57  听风。  阅读(1135)  评论(0编辑  收藏  举报