Java中的代码点与代码单元

Unicode标准的核心是一个编码字符集，它为每一个字符分配一个唯一数字。Unicode标准始终使用16进制数字，并且在书写时在前面加上U+，如字符“A”的编码为“U+0041”。 

有个小技巧就是，在word中输入一个字符，然后按住alt+x就可以将该字符转为unicode显示。

代码点是指可用于编码字符集的数字。编码字符集定义一个有效的代码点范围，但是并不一定将字符分配给所有这些代码点。有效的Unicode代码点范围是U+0000至U+10FFFF。Unicode4.0将字符分配给一百多万个代码点中的96382个代码点。 
代码单元可以理解为字符编码的一个基本单元，最常用的代码单元是字节（即8位），但是16位和32位整数也可以用于内部处理。 

就Unicode标准来说，它的编码字符集有三种编码方案：UTF-32、UTF-16、UTF-8。UTF-32使用32位的代码单元表示一个Unicode代码点，UTF-16使用一个或两个16位的代码单元的序列对Unicode代码点进行编码，UTF-8 使用1至4个字节的序列对Unicode代码点进行编码。

Java中，char[]、String、StringBuilder和StringBuffer类中采用了UTF-16编码，使用U+0000~U+FFFF来表示一个基本字符（BMP字符），但是位于U+D800到U+DBFF和U+DC00到U+DFFF的char被视为无定义字符。大多数的常用Unicode字符使用一个代码单元就可以表示，而辅助字符需要一对代码单元表示。即：基本字符用一个char表示，辅助字符使用一对char表示。

Java使用代码点(Unicode code pointer)这个概念来表示范围在U+0000与U+10FFFF之间的字符值（int型），代码单元(Unicode code unit)表示作为UTF-16编码的代码单元的 16位char值（char型）。也就是说，可能存在一个字符，它的代码点数量是1，而代码单元数量是2。所以，代码单元的数量并不一定是字符的数量。

相比之下，代码单元更加偏底层。

相关函数：

length()函数返回采用UTF-16编码标识的给定字符串所需要的代码单元的数量。

codePointCount()函数返回采用UTF-16编码标识的给定字符串所需要的代码点的数量。

public class Test{
    public static void main(String...args){        
        char[] ch = Character.toChars(0x10400);
        System.out.printf("U+10400 高代理字符: %04x\n", (int)ch[0]);//d801
        System.out.printf("U+10400 低代理字符: %04x\n", (int)ch[1]);//dc00   
        String str = new String(ch);
        System.out.println("代码单元长度: " + str.length());//2
        System.out.println("代码点数量: " + str.codePointCount(0, str.length()));//1
        System.out.println(str.codePointAt(0));//返回给定位置开始或结束的代码点,66560
        System.out.println(str.charAt(1));//返回给定位置的代码单元,由于未定义，返回?
        
        //遍历一个字符串,打印出所有字符的代码点
        str += "Hello,world!";
        int i = 0;
        int cp = str.codePointAt(i);
        while(i < str.length()){
            System.out.println(str.codePointAt(i));
            if(Character.isSupplementaryCodePoint(cp))
                i += 2;//如果cp所在的位置是代码点的第一部分，执行此处
            else i++;
        }
        /*
         * 66560 
         * 72 
         * 108 
         * 111 
         * 119 
         * 114 
         * 100
         */
    }
}

 

下面部分转自 http://blog.csdn.net/xujinsmile/article/details/8526387