Java中的编码处理

感觉编码有三个部分组成:

  • 生成字节数组的方法。
  • 字节数组本身。
  • 解析字节数组的方法。

一般情况下乱码的产生就是第三部分出错了,也就是用错误的方式解析字节数组。比如下面的例子:

    public static void test_4(){
try{
String str1 = "我们";
String str2 = new String(str1.getBytes("UTF-8"), "GBK");
String str3 = new String(str2.getBytes("GBK"), "UTF-8");
System.out.println(str1);
System.out.println(str2);
System.out.println(str3);
print(str1.getBytes("UTF-8"));
print(str2.getBytes("GBK"));
print(str3.getBytes("UTF-8"));
}catch(Exception e){
}
}
输出:
----------------------------------------------------------------------------------
我们
鎴戜滑
我们
-26, -120, -111, -28, -69, -84,
-26, -120, -111, -28, -69, -84,
-26, -120, -111, -28, -69, -84,

但是这种来回的转换并不总是会成功,因为GBK表示一个汉字需要两个字节,而UTF-8则需要3个字节,这样如果是奇数个汉字的时候转换成的UTF-8就得对齐,然后再转回来当然就不一样了。通过这个例子也看到了方法getBytes和new String都做了些什么工作。


先来看ISO-8859-1编码,也就是这几天最闹心的一种编码。它是大多数浏览器的默认字符集,前128个字符对应ASCII字符集,后128个字符包含了一些被西欧国家使用的字符以及一些常用的特殊字符,是ASCII的超集。编码表如下:

在网上捞到的一段从ISO-8859-1到UTF-8的转换的代码如下:

    public static byte[] code8859toUTFNew(byte[] src){  
byte [] dest = new byte[src.length*2 +1];
int i = 0, j = 0;
int value;
for(i =0; i < src.length;i++){
value = src[i]& 0xFF;
if (value <= 0x7F){
dest[j++] = src[i];
}else if(value >0x7F && value <= 0xFF){
dest[j++] = (byte)((value>>6)& 0x1F|0xC0);
dest[j++] = (byte)(value&0x3F|0x80);
}
}
byte [] end = new byte[j];
System.arraycopy(dest, 0, end, 0, j);
return end;
}

UTF-8编码:

UTF-8是一宗针对Unicode的可变长字符编码,也是一种前缀码,可用来表示Unicode标准中任何字符,且其编码中的第一个字节与ASCII相容。UTF-8的规则如下:

  • 128个US-ASCII字符只需要一个字节编码(从U+0000到U+007F)。
  • 带有符号的拉丁文,希腊文,西里尔字母,亚美尼亚语,希伯来文,阿拉伯文,叙利亚文与他拿字母需要两个字节编码(Unicode范围从U+0080到U+07FF)。
  • 其他基于多文种平面中的字符使用三个字节编码。
  • 其他极少使用的Unicode辅助平面的字符使用四个字节编码。

 IETF要求所有的互联网协议都必须支持UTF-8编码。编码中的规则如下:

代码范围 UTF-8 注释
000000-00007F 0ZZZZZZZ ASCII字符范围,字节由0开始
000080-0007FF 110YYYYY10ZZZZZZ 第一个字节110开始,接着的字节由10开始

000800-00D7FF

00E000-00FFFF

1110XXX10YYYYYY10ZZZZZZ 第一个字节由1110开始,接下来的字节由10开始
010000-10FFFF 11110WWW10XXXXXX10YYYYYY10ZZZZZZ 第一个字节由11110开始,接下来的由10开始

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

posted @ 2012-02-23 10:24  GG大婶  阅读(1118)  评论(0编辑  收藏  举报