字符、字节和编码
摘要:介绍了字符与编码的发展过程，相关概念。举例Java实际应用中，编码的实现方法。最后，讲述了通常对字符与编码的几种误解，由于这些误解而导致乱码产生的原因，以及消除乱码的方法。
1.编码问题的由来及相关概念
1.1字符与编码的发展
从计算机对多国语言的支持角度看，大致可以分为三个阶段：
| 系统内码 | 说明 | 系统 | |
| 阶段一 | ASCII | 计算机刚开始只支持英语，其它语言不能够在计算机上存储和显示 | 英文DOS |
| 阶段二 | ANSI编码（本地化） |
为使计算机支持更多语言，通常使用0x80~0xFF范围的2个字节来表示1个字符。比如：汉字‘中’在中文操作系统中，使用[0x06,0xD0]这两个字节存储。 不同的国家和地区制定了不同的标准，由此产生了GB2312、BIG5、JIS等各自编码标准。这些使用2个字节来代表一个字节来代表一个字符的各种汉字延伸编码方式，成为ANSI编码。在简单中文系统下，ASNI编码代表GB2312编码，在日文操作系统下，ANSI编码代表JIS编码。 不同ANSI编码之间互不兼容，当信息在国际间交流时，无法将属于两种语言的文字，存储在同一段ANSI编码的文本中。 |
中文DOS,中文Windows95/98,日文Windows95/98 |
| 阶段三 | UNICODE(国际化) | 为了使国际间信息交流更加方便，国际组织制定了UNICODE字符集，为各种语言中的每一个字符设定了统一并且唯一的数字编号，以满足跨语言、跨平台进行文本转换、处理的要求。 | Windows NT/2000/XP,Linux,Java |
字符串在内存中的存放方法：
在ASCII阶段，单字节字符串使用一个字节(SBCS)存放一个字符。比如‘Tom1988’在内存中为：
| 44 | 6F | 6D | 31 | 39 | 38 | 38 | 00 |
| T | o | m | 1 | 9 | 9 | 8 | \0 |
在使用ANSI编码支持多种语言阶段，每个字符使用一个字节或多个字节(MBCS)来表示,因此，这种方式存放的字符也被称作为多字节字符。比如，"中文123"在中文Window 95内存中为7个字节，每个汉字占2个字节，每个英文和数字字符占1个字节：
| D6 | D0 | CE | C4 | 31 | 32 | 33 | 00 |
| 中 | 文 | 1 | 2 | 3 | \0 | ||
在UNICODE被采用之后，计算机存放字符串时，改为存放每个字符在UNICODE字符集中的序号。目前计算机一般使用2个字节(DBCS,16位)存放一个序号,因此，这种方式存放的字符也被称作宽带字节符。比如，字符串"中文123"在Windows 2000下，内存中实际存放的是5个序号：一共占10个字节。
| 2D | 4E | 87 | 65 | 31 | 00 | 32 | 00 | 33 | 00 | 00 | 00 | <--在x86 CPU中，低字节在前 |
| 中 | 文 | 1 | 2 | 3 | \0 | |||||||
1.2字符、字节和字符串
理解编码的关键，是要把字符的概念和字节的概念理解准确。这两个概念容易混淆，我们在此做一下区别：
| 概念描述 | 举例 | |
| 字符 | 人们使用的标号，抽象意义上的一个符号 | '1','中','a','$' |
| 字节 | 计算机中存储数据的单元，一个8位的二进制数，是一个很具体的存储空间 | 0x01,0x45,0xFA |
| ANSI字符串 | 在内存中，如果"字符"是以ANSI编码形式存在的，一个字符可能使用一个字节或多个字节来表示，那么我们称这种字符串为ANSI字符串或者多字节字符串 | "中文123"(占7字节) |
| UNICODE字符串 | 在内存中，如果"字符"是以在UNICODE中的序号存在的，那么我们称这种字符串为UNICODE字符串或者宽字节字符串。 | "中文123"(占10字节) |
由于不同ANSI编码所规定的标准是不相同的，因此，对于一个给定的多字节字符串，我们必须知道它采用的是哪一种编码规则，才能够知道它包含了哪些"字符"。而对于UNICODE字符串来说，不管在什么环境下，它所代表的"字符"内容总是不变的。
1.3 字符集与编码
各个国家和地区所制定的不同ANSI编码标准中，都只规定了各自语言所需要的"字符"。比如，汉字标准(GB2312)中没有规定韩国字符怎样存储。这些ANSI编码标准所规定的内容包含两层含义：
- 使用那些字符。也就是说那些汉字、字母和符号会被收入标准中。所包含"字符"的集合就叫做"字符集"
- 规定每个"字符"分别用一个字节还是多个字节存储，用那些字节存储，这个规定就叫做"编码"
各个国家和地区在制定编码标准的时候，"字符的集合"和"编码"一般都是同时制定的。因此，平常我们所说的"字符集"，比如：GB2312、GBK、JIS等，除了有"字符的集合"这层含义外，同时也包含了"编码"的含义。"UNICODE字符集"包含了各种语言中使用到的所有"字符"。用来给UNICODE字符集编码的标准有很多种，比如:UTF-8,UTF-7,UTF-16,UnicodeLittle,UnicodeBig等。
1.4 常用的编程简介
简单介绍一下常用的编码规则，为后边的章节做一个准备。在这里，我们根据编码规则的特点，把所有的编码分成三类：
| 分类 | 编码标准 | 说明 |
| 单字节字符编码 | ISO-8859-1 | 最简单的编码规则，每一个字节直接作为一个UNICODE字符。比如，[0xD6,0xD0]这两个字节，通过ISO-8859-1转化为字符串时，将直接得到[0x00D6,0x00D0]两个UNICODE字符,即"ÖÐ"。反之，将UNICODE字符串通过ISO-8859-1转化为字符串时，只能正常转化0~255范围的字符。 |
| ANSI编码 | GB2312,BIG5,Shift_JIS |
把UNICODE字符串通过ANSI编码转化为"字节串"时，根据各自编码的规定，一个UNICODE字符可能转化成一个字节或多个字节。反之，将字节串转化成字符串时，也可能多个字节转化成一个字符。比如，[0xD6,0xD0]这两个字节，通过GB2312转化为字符串，将得到[0x4E2D]一个字符串，即"中"字。 "ANSI编码“的特点： 1.这些"ANSI编码标准"都只能处理各自语言范围之内的UNICODE字符。 2."UNICODE字符"与"转换出来的字节"之间的关系是人为规定的。 |
| UNICODE编码 | UTF-8,UTF-16,UnicodeBig |
与"ANSI"编码类似的，把字符串通过UNICODE编码转化成"字节串"时，一个UNICODE字符可能转化成一个字节或多个字节。 与"ANSI 编码"不同的是： 1.这些"UNICODE 编码"能够处理所有的UNICODE字符。 2."UNICODE字符"与"转换出来的字节"之间是可以通过计算得到的。 |
2.字符与编码在程序中的实现
Java中的char代表一个UNICODE字符(宽字节字符)
| 类型或操作 | 字符 | 字节 | ANSI字符串 | UNICODE字符串 | 字节串->字符串 | 字符串->字节串 |
| Java | char | byte | byte[] | String | string=new String(bytes,"encoding") | bytes=string.getBytes("encoding") |
字符串类String中的内容是UNICODE字符串
public class Test { public static void main(String[] args) { //Java代码直接写中文 String string="中文123"; //得到长度为5，因为是5个字符 System.out.println(string.length()); } }
字符串I/O操作，字符与字节转换操作。在Java包java.io.*中，以"Stream"结尾的类一般是用来操作"字节串"的类。以"Reader","Writer"结尾的类一般是用来操作"字符串"的类。
public class Test { public static void main(String[] args) throws IOException { //Java代码直接写中文 String string="中文123"; //得到长度为5，因为是5个字符 System.out.println(string.length()); byte[] bytes = null; try { //按照GB2312得到字节(得到多字节字符串) bytes=string.getBytes("GB2312"); //从字节按照GB2312得到UNICODE字符串 string=new String(bytes,"GB2312"); } catch (UnsupportedEncodingException e) { // TODO Auto-generated catch block e.printStackTrace(); } //要将String按照某种编码写入文本文件，有两种方法； //第一种方法:用stream类写入已经按照指定编码转化好的字符串 try { OutputStream os=new FileOutputStream("D:\\1.txt"); os.write(bytes); os.close(); } catch (FileNotFoundException e) { // TODO Auto-generated catch block e.printStackTrace(); } //第二种办法，构造指定编码的Writer来写入字符串 Writer ow=new OutputStreamWriter(new FileOutputStream("D:\\2.txt"), "GB2312"); ow.write(string); ow.close(); } }
3.几种误解，以及乱码产生的原因和解决方法
3.1 容易产生的误解
| 对编码的误解 | |
| 误解1 |
在将"字符串"转化为"UNICODE字符串"时，比如在读取文本文件时，或者通过网络传输文本时，容易将"字节串"简单地作为单字节字符串，采用"一个字节"就是"一个字符"的方法进行转化。 而实际上，在非英语的环境中，应该将"字节串"作为ANSI字符串，采用适当的编码来得到UNICODE字符串，有可能"多个字节"才能得到"一个字符"。通常，一直在英语环境下做开发的程序员们，容易有这种误解。 |
| 误解2 | 在DOS,Windows98等非UNICODE环境下，字符串都是以ANSI编码的字节形式存在的。这种以字节形式存在的字符串，必须知道是那种编码才能被正确地使用。这使我们形成一个惯性思维:"字符串的编码"。当UNICODE被支持后，Java中的String是以字符的"符号"来存储的，不是以"某种编码的字节"来存储的，因此已经不存在"字符串的编码"这个概念了。只有在"字符串"与"字节串"转化时，或者，将一个"字节串"当成一个ANSI字符串时，才有编码的概念。不少人都有这个误解 |
第一种：误解，往往导致乱码产生的原因。第二种误解，往往导致本来容易纠正的乱码问题变得更复杂。在这里，我们可以看到，其中所讲的"误解1"，即采用没"一个字节"就是"一个字符"的转化方法，实际上也就等同于采用ISO-8859-1进行转化。因此，我们常常使用bytes=string.getBytes("ISO-8859-1")来进行逆向操作，得到原始的"字符串"。然后再使用正确的ANSI编码，比如string=new String(bytes,"GB2312"),来得到正确的"UNICODE字符串"。
3.2 非UNICODE程序在不同语言环境间移植的乱码
非UNICODE程序中的字符串，都是以某种ANSI编码形式存在的。如果程序运行时的语言环境与开发的语言环境不同，将会导致ANSI字符串的显示失败。比如，在日文环境下开发的非UNICODE的日文程序界面，拿到中文环境下运行时，界面上将显示乱码。如果这个日文程序界面改为采用UNICODE来记录字符串，那么当在中文环境下运行时，界面上将可以显示正常的日文。
3.3 几种错误理解的纠正
误解："ISO-8859-1"是国际编码？
错误，ISO-8859-1只是单字节字符集中最简单的一种，也就是"字节编号"与"UNICODE字符编号"一致的那种编码规则。当我们要把一个"字节串"转化"字符串"，而不知道它是那一种ANSI编码时，先暂时地把"每一个字节"作为"一个字符"进行转化，不会造成信息丢失。然后在使用bytes=string.getBytes("ISO-8859-1")的方法可以恢复到原始的字符串。
误解：Java中，怎样知道某个字符串的内码？
Java中吧，字符串类java.lang.String处理的是UNICODE字符串，不是ANSI字符串。我们只需要把字符串作为"抽象的符号的串"。因此不存在字符串的内码的问题。
参考文章：
http://www.cnblogs.com/fanrsh/archive/2007/05/26/761181.html
