Java java采用的编码、JVM平台默认字符集和外部资源的编码

其他：http://www.cnblogs.com/lxzh/archive/2012/05/30/2526557.html

java采用的编码是unicode编码；

查看jvm的默认编码：

可以使用System.out.println(Charset.defaultCharset());来查看jvm默认的字符集（我的mac为utf-8（java.nio.charset.CharsetICU[UTF-8]））；

JVM的字符集编码取的是操作系统默认的字符集编码：

         win xp 中文版中：一般是GBK。

         win server中文版中：一般是GB18030（猜测）。

         Linux 中看本地语言环境配置文件怎么设置。

java字符串使用的是unicode编码。 

 

其实，编码问题存在两个方面：JVM之内和JVM之外。

 

1、Java文件编译后形成class

这里Java文件的编码可能有多种多样，但Java编译器会自动将这些编码按照Java文件的编码格式正确读取后产生class文件，这里的class文件编码是Unicode编码（具体说是UTF-16编码）。

因此，在Java代码中定义一个字符串：

String s="汉字";

不管在编译前java文件使用何种编码，在编译后成class后，他们都是一样的----Unicode编码表示。

 

2、JVM中的编码

JVM加载class文件读取时候使用Unicode编码方式正确读取class文件，那么原来定义的String s="汉字";在内存中的表现形式是Unicode编码。

 

当调用String.getBytes()的时候，其实已经为乱码买下了祸根。因为此方法使用平台默认的字符集来获取字符串对应的字节数组。在WindowsXP中文版中，使用的默认编码是GBK，不信运行下：

public class Test { 
        public static void main(String[] args) { 
                System.out.println("当前JRE：" + System.getProperty("java.version")); 
                System.out.println("当前JVM的默认字符集：" + Charset.defaultCharset()); 
        } 
}

 

当前JRE：1.6.0_16 
当前JVM的默认字符集：GBK

 

当不同的系统、数据库经过多次编码后，如果对其中的原理不理解，就容易导致乱码。因此，在一个系统中，有必要对字符串的编码做一个统一，这个统一模糊点说，就是对外统一。比如方法字符串参数，IO流，在中文系统中，可以统一使用GBK、GB13080、UTF-8、UTF-16等等都可以，只是要选择有些更大字符集，以保证任何可能用到的字符都可以正常显示，避免乱码的问题。（假设对所有的文件都用ASCII码）那么就无法实现双向转换了。

 

要特别注意的是，UTF-8并非能容纳了所有的中文字符集编码，因此，在特殊情况下，UTF-8转GB18030可能会出现乱码。

 

3、内存中字符串的编码

内存中的字符串不仅仅局限于从class代码中直接加载而来的字符串，还有一些字符串是从文本文件中读取的，还有的是通过数据库读取的，还有可能是从字节数组构建的，然而他们基本上都不是Unicode编码的，原因很简单，存储优化。

 

因此就需要处理各种各样的编码问题，在处理之前，必须明确“源”的编码，然后用指定的编码方式正确读取到内存中。如果是一个方法的参数，实际上必须明确该字符串参数的编码，因为这个参数可能是另外一个日文系统传递过来的。当明确了字符串编码时候，就可以按照要求正确处理字符串，以避免乱码。

在对字符串进行解码编码的时候，应该调用下面的方法：

getBytes(String charsetName)    
String(byte[] bytes, String charsetName)

 

而不要使用那些不带字符集名称的方法签名，通过上面两个方法，可以对内存中的字符进行重新编码。

 

 

（一） JVM 默认字符集—— Charset. defaultCharset ()

Java 中，字符字节转换时，如果不提供字符集，使用默认字符集。例如，字符串和字节数组转换时，字节流和字符流转换时等。

 1 String str = "中文";
 2         // 获取JVM默认字符集
 3         System.out.println("defaultCharset:" + Charset.defaultCharset());
 4 
 5         System.out.println("##字符串转换成byte数组");
 6         byte[] defaultByteArray = str.getBytes();
 7         byte[] gbkByteArray = str.getBytes("GBK");
 8         byte[] utfByteArray = str.getBytes("UTF-8");
 9         System.out.println("defaultByteArray:"
10                 + Arrays.toString(defaultByteArray));
11         System.out.println("gbkByteArray:" + Arrays.toString(gbkByteArray));
12         System.out.println("utfByteArray:" + Arrays.toString(utfByteArray));
13 
14         System.out.println("##byte数组转换成字符串");
15         String defaultStr = new String(defaultByteArray);
16         String gbkStr = new String(defaultByteArray, "GBK");
17         String utfStr = new String(defaultByteArray, "UTF-8");
18         System.out.println("defaultStr:" + defaultStr);
19         System.out.println("gbkStr:" + gbkStr);
20         // 因为utf-8是变长编码，没有跟[-42, -48, -50, -60]对应的用utf-8字符集的字符串，所以会乱码
21         System.out.println("utfStr:" + utfStr);
22 
23         System.out.println("##字节流转化成字符流");
24         // 文件中只有“中文”2个字,文件采用“GBK”编码，共4个byte
25         BufferedReader defaultReader = new BufferedReader(
26                 new InputStreamReader(new FileInputStream("src/encode.txt")));
27         BufferedReader gbkReader = new BufferedReader(new InputStreamReader(
28                 new FileInputStream("src/encode.txt"), "GBK"));
29         BufferedReader utfReader = new BufferedReader(new InputStreamReader(
30                 new FileInputStream("src/encode.txt"), "UTF-8"));
31         System.out.println("defaultReader:" + defaultReader.readLine());
32         System.out.println("gbkReader:" + gbkReader.readLine());
33         System.out.println("utfReader:" + utfReader.readLine());
34 
35         System.out.println("##字符流转化成字节流");
36         BufferedWriter defaultWriter = new BufferedWriter(
37                 new OutputStreamWriter(System.out));
38         BufferedWriter gbkWriter = new BufferedWriter(new OutputStreamWriter(
39                 System.out, "GBK"));
40         BufferedWriter utfWriter = new BufferedWriter(new OutputStreamWriter(
41                 System.out, "UTF-8"));
42         System.out.print("defaultWriter:");
43         defaultWriter.write(str);
44         // 这里不能用close()方法，否则System.out也被关闭，后续无输出
45         defaultWriter.flush();
46         System.out.print("\r\ngbkReader:");
47         gbkWriter.write(str);
48         gbkWriter.flush();
49         System.out.print("\r\nutfReader:");
50         utfWriter.write(str);
51         utfWriter.flush();

Java

defaultCharset:GBK 
##字符串转换成byte数组 
defaultByteArray:[-42, -48, -50, -60] 
gbkByteArray:[-42, -48, -50, -60] 
utfByteArray:[-28, -72, -83, -26, -106, -121] 
##byte数组转换成字符串 
defaultStr:中文 
gbkStr:中文 
utfStr:???? 
##字节流转化成字符流 
defaultReader:中文 
gbkReader:中文 
utfReader:???? 
##字符流转化成字节流 
defaultWriter:中文 
gbkReader:中文 
utfReader:涓枃

 

（ 二） Java 程序入口文件（ main 函数所在文件） 编码 —— System.getProperty("file.encoding")

该编码默认值取决于 Java 程序入口文件（ main 函数所在文件） 编码 的编码方式，具体请参考下面文章，也可以在运行 Java 程序时通过 -Dfile.encoding="GBK"  来设定，如果 -Dfile.encoding 指定的编码方式跟 Java 程序入口文件的字符集不一致，将会导致乱码 。也可以在程序中通过 setP roperty 方法直接设置，这种设置虽然改变了“ file.encoding ”的值，但是似乎没什么用 。

 1 System.out.println("##文件编码是GBK,-Dfile.encoding=\"GBK\"");
 2         System.out.println("file.encoding:"
 3                 + System.getProperty("file.encoding"));
 4         // 在不存在的目录下创建文件,查看报错信息
 5         try {
 6             new File("directory/test.txt").createNewFile();
 7         } catch (IOException e) {
 8             e.printStackTrace();
 9         }
10 
11         // ##文件编码是GBK,-Dfile.encoding="UTF-8"
12         System.out.println("##文件编码是GBK,-Dfile.encoding=\"UTF-8\"");
13         System.out.println("file.encoding:"
14                 + System.getProperty("file.encoding"));
15         // 在不存在的目录下创建文件,查看报错信息
16         try {
17             new File("directory/test.txt").createNewFile();
18         } catch (IOException e) {
19             e.printStackTrace();
20         }

Java

##文件编码是GBK,-Dfile.encoding="GBK"

file.encoding:GBK

java.io.IOException: 系统找不到指定的路径。

at java.io.WinNTFileSystem.createFileExclusively(Native Method)

at java.io.File.createNewFile(File.java:883)

at Encoding.main(Encoding.java:72)

##鏂囦欢缂栫爜鏄疓BK,-Dfile.encoding="UTF-8"

file.encoding:UTF-8

java.io.IOException: 绯荤粺鎵句笉鍒版寚瀹氱殑璺緞銆?

at java.io.WinNTFileSystem.createFileExclusively(Native Method)

at java.io.File.createNewFile(File.java:883)

at Encoding.main(Encoding.java:83)

 

（三）文件名字编码—— System.getProperty("sun.jnu.encoding")

今天项目中遇到通过web上传文件到文件系统时，中文文件名乱码，一步步排查了http通讯过程中的编解码(通过utf-8)都没有发现问题。操作系统的默认字符集也是utf-8。 通过日志打印System.getProperty("file.encoding")也是utf-8码。。。。一时凌乱了！！     最后通过查资料，发现通过java写文件时文件名编码和System.getProperty("sun.jnu.encoding")有关，打印此环境属性发现输出竟然是ANSI的一种编码，终于找到问题爆发点，通过在程序中设置System.setProperty("sun.jnu.encoding","utf-8")解决问题。

通过问题解决得出结论：sun.jnu.encoding 影响文件名的创建，而 file.encoding 则影响到文件内容。

所以说，在我们使用 Java 处理中文文件的时候，如果发现文件的中文内容没有乱码，而文件的中文名发生乱码，我们就应当多考虑一下 sun.jnu.encoding 和 file.encoding 的区别了。

 

 

 

（四）java对字符的处理

在java应用软件中，会有多处涉及到字符集编码，有些地方需要进行正确的设置，有些地方需要进行一定程度的处理。

3.1. getBytes(charset)

这是java字符串处理的一个标准函数，其作用是将字符串所表示的字符按照charset编码，并以字节方式表示。注意字符串在java内存中总是按unicode编码存储的。比如"中文"，正常情况下（即没有错误的时候）存储为"4e2d 6587"，如果charset为"gbk"，则被编码为"d6d0 cec4"，然后返回字节"d6 d0 ce c4"。如果charset为"utf8"则最后是"e4 b8 ad e6 96 87"。如果是"iso8859-1"，则由于无法编码，最后返回 "3f 3f"（两个问号）。

3.2. new String(charset)

这是java字符串处理的另一个标准函数，和上一个函数的作用相反，将字节数组按照charset编码进行组合识别，最后转换为unicode存储。参考上述getBytes的例子，"gbk" 和"utf8"都可以得出正确的结果"4e2d 6587"，但iso8859-1最后变成了"003f 003f"（两个问号）。

因为utf8可以用来表示/编码所有字符，所以new String( str.getBytes( "utf8" ), "utf8" ) === str，即完全可逆。

3.3. setCharacterEncoding()

该函数用来设置http请求或者相应的编码。

对于request，是指提交内容的编码，指定后可以通过getParameter()则直接获得正确的字符串，如果不指定，则默认使用iso8859-1编码，需要进一步处理。参见下述"表单输入"。值得注意的是在执行setCharacterEncoding()之前，不能执行任何getParameter()。java doc上说明：This method must be called prior to reading request parameters or reading input using getReader()。而且，该指定只对POST方法有效，对GET方法无效。分析原因，应该是在执行第一个getParameter()的时候，java将会按照编码分析所有的提交内容，而后续的getParameter()不再进行分析，所以setCharacterEncoding()无效。而对于GET方法提交表单是，提交的内容在URL中，一开始就已经按照编码分析所有的提交内容，setCharacterEncoding()自然就无效。

对于response，则是指定输出内容的编码，同时，该设置会传递给浏览器，告诉浏览器输出内容所采用的编码。

3.4. 处理过程

下面分析两个有代表性的例子，说明java对编码有关问题的处理方法。

3.4.1. 表单输入

User input  *(gbk:d6d0 cec4)  browser  *(gbk:d6d0 cec4)  web server  iso8859-1(00d6 00d 000ce 00c4)  class，需要在class中进行处理：getbytes("iso8859-1")为d6 d0 ce c4，new String("gbk")为d6d0 cec4，内存中以unicode编码则为4e2d 6587。

l 用户输入的编码方式和页面指定的编码有关，也和用户的操作系统有关，所以是不确定的，上例以gbk为例。

l 从browser到web server，可以在表单中指定提交内容时使用的字符集，否则会使用页面指定的编码。而如果在url中直接用?的方式输入参数，则其编码往往是操作系统本身的编码，因为这时和页面无关。上述仍旧以gbk编码为例。

l Web server接收到的是字节流，默认时（getParameter）会以iso8859-1编码处理之，结果是不正确的，所以需要进行处理。但如果预先设置了编码（通过request. setCharacterEncoding ()），则能够直接获取到正确的结果。

l 在页面中指定编码是个好习惯，否则可能失去控制，无法指定正确的编码。

3.4.2. 文件编译

假设文件是gbk编码保存的，而编译有两种编码选择：gbk或者iso8859-1，前者是中文windows的默认编码，后者是linux的默认编码，当然也可以在编译时指定编码。

Jsp  *(gbk:d6d0 cec4)  java file  *(gbk:d6d0 cec4)  compiler read  uincode(gbk: 4e2d 6587; iso8859-1: 00d6 00d 000ce 00c4)  compiler write  utf(gbk: e4b8ad e69687; iso8859-1: *)  compiled file  unicode(gbk: 4e2d 6587; iso8859-1: 00d6 00d 000ce 00c4)  class。所以用gbk编码保存，而用iso8859-1编译的结果是不正确的。

class  unicode(4e2d 6587)  system.out / jsp.out  gbk(d6d0 cec4)  os console / browser。

l 文件可以以多种编码方式保存，中文windows下，默认为ansi/gbk。

l 编译器读取文件时，需要得到文件的编码，如果未指定，则使用系统默认编码。一般class文件，是以系统默认编码保存的，所以编译不会出问题，但对于jsp文件，如果在中文windows下编辑保存，而部署在英文linux下运行/编译，则会出现问题。所以需要在jsp文件中用pageEncoding指定编码。

l Java编译的时候会转换成统一的unicode编码处理，最后保存的时候再转换为utf编码。

l 当系统输出字符的时候，会按指定编码输出，对于中文windows下，System.out将使用gbk编码，而对于response（浏览器），则使用jsp文件头指定的contentType，或者可以直接为response指定编码。同时，会告诉browser网页的编码。如果未指定，则会使用iso8859-1编码。对于中文，应该为browser指定输出字符串的编码。

l browser显示网页的时候，首先使用response中指定的编码（jsp文件头指定的contentType最终也反映在response上），如果未指定，则会使用网页中meta项指定中的contentType。