Java处理不同的字符编码流
在实际开发中,可能会处理一些文本信息,我们可能使用
BufferedReader bfr = new BufferedReader(new InputStreamReader(bis,encoding));
这样的方式来处理输入流,然后就可以一行一行的处理信息了。
但是,这里的encoding一般都不会确定,有的是GBK格式,有的是UTF-8格式,可能还有其他格式的文件。
这时候,处理的方式很多,现在给大家介绍一种亲测有效的方法。
原理:使用文本文件头部信息,来确定使用哪种字符编码。
比如,UTF-8含BOM格式的文件前三个字节会是这样:EFBBBF
Unicode文件前两个字节会是这样:FFFE
GBK这类统一为ANSI文件,这种一般没有头信息,如果两个文件都是ANSI,一个是日语编码,一个是GBK,那这种办法就没有办法区分了。
代码:
输入:InputStream
BufferedReader bfr = null; /* * 默认读取方式为GBK编码,先读取前三个字节,看是否为十六进制的“EFBBBF” * 如果是,则使用UTF-8方式读取 * 否则则使用默认GBK方式读取 */ BufferedInputStream bis = new BufferedInputStream(is); String encoding = "gbk"; bis.mark(3); byte[] bom = new byte[3]; bis.read(bom); bis.reset(); if(bom[0] == Integer.valueOf("EF",16).byteValue() &&bom[1] == Integer.valueOf("BB",16).byteValue() &&bom[2] == Integer.valueOf("BF",16).byteValue()){ encoding = "utf-8"; } else if(bom[0] == Integer.valueOf("FF",16).byteValue() &&bom[1] == Integer.valueOf("FE",16).byteValue()) { encoding = "Unicode"; } System.out.println(encoding); //正式读取文件开始 bfr = new BufferedReader(new InputStreamReader(bis,encoding)); //do somethig
-----------------------------------------------------
Github:
https://github.com/RainFool