chardet模块的使用

1.介绍

　　在处理字符串时，常常会遇到不知道字符串是何种编码，如果不知道字符串的编码就不能将字符串转换成需要的编码。面对多种不同编码的输入方式，是否会有一种有效的编码方式？chardet是一个非常优秀的编码识别模块。

$ pip install chardet

2.简单使用

　　

使用chardet

当我们拿到一个bytes时，就可以对其检测编码。用chardet检测编码，只需要一行代码：

>>> chardet.detect(b'Hello, world!')
{'encoding': 'ascii', 'confidence': 1.0, 'language': ''}

 

检测出的编码是ascii，注意到还有个confidence字段，表示检测的概率是1.0（即100%）。

我们来试试检测GBK编码的中文：

>>> data = '离离原上草，一岁一枯荣'.encode('gbk')
>>> chardet.detect(data)
{'encoding': 'GB2312', 'confidence': 0.7407407407407407, 'language': 'Chinese'}

检测的编码是GB2312，注意到GBK是GB2312的超集，两者是同一种编码，检测正确的概率是74%，language字段指出的语言是'Chinese'。

对UTF-8编码进行检测：

>>> data = '离离原上草，一岁一枯荣'.encode('utf-8')
>>> chardet.detect(data)
{'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}

我们再试试对日文进行检测：

>>> data = '最新の主要ニュース'.encode('euc-jp')
>>> chardet.detect(data)
{'encoding': 'EUC-JP', 'confidence': 0.99, 'language': 'Japanese'}

可见，用chardet检测编码，使用简单。获取到编码后，再转换为str，就可以方便后续处理。

3.高级使用

　　当用于检测的文档特别大时，可以chardet的子模块chardet.universaldetector。这个模块允许我们分多次（逐行读取或者自行断行读取）检测文本的编码格式，当达到一定的阈值时便可以提前退出检测。这样做可以有效地节省资源，提高程序效率，同时保证检测结果的准确性。

from chardet.universaldetector import UniversalDetector
 
detector = UniversalDetector() # 初始化一个UniversalDetector对象
f = open('test.txt', 'rb') # test.txt是一个utf-8编码的文本文档
 
for line in f:
    detector.feed(line) # 逐行载入UniversalDetector对象中进行识别
    if detector.done: # done为一个布尔值，默认为False，达到阈值时变为True
        break
 
detector.close() # 调用该函数做最后的数据整合
f.close()
print(detector.result)
# {'confidence': 1.0, 'encoding': 'UTF-8-SIG'}

　　需要注意的是：如果对多个不同来源的文本进行检测，在每次检测完毕时，必须调用一次UniversalDetector对象的reset函数，将之前的检测数据清除。否则会导致后面的检测结果混乱。

 

转自：https://www.liaoxuefeng.com/wiki/1016959663602400/1183255880134144