【转】【编码】ASCII 、UNICODE和UTF-8之二
字符发展
1. 美国
ASCII-（American standard code information interchange) 美国信息互换标准代码
范围：1-127 ; 单字
备注：前部用作控制码，0x20以下的字节状态称为"控制码"；后面跟数字，字母大小写至127
2. 美国
ASCII扩展编码
范围:128-255; 单字
备注：很多画表格时需要用下到的横线、竖线、交叉等形状，一直把序号编到了最后一 个状态255
3. 中国GB2312
原由：中国人们得到计算机时，有6000多个常用汉字需要保存呢
规定：一个小于127的字符的意义与原来相同，但两个大于127的字符连在一起时，就表示一个汉字，
前面的一个字节（他称之为高字节）从0xA1用到 0xF7，后面一个字节（低字节）从0xA1到0xFE，
这样我们就可以组合出大约7000多个简体汉字了
范围：0xA1A1~0xF7FE;双字
备注：连在 ASCII 里本来就有的数字、标点、字母都统统重新编了两个字节长的编码，
这就是常说的"全角"字符，而原来在127号以下的那些就叫"半角"字符了
4. 中国GBK
原由：但是中国的汉字太多了，我们很快就就发现有许多人的人名没有办法在这里打出来
规定：于是干脆不再要求低字节一定是127号之后的内码，只要第一个字节是大于127就固定表示这是一个汉字的开始
范围：0xA100~0xFFFF双字
备注：GBK兼容GB2312， 此时20000个新的汉字（包括繁体字）和符号
后来少数民族也要用电脑了，于是我们再扩展，又加了几千个新的少数民族的字，GBK 扩成了GB18030
5. 双字时代
我们看到这一系列汉字编码的标准是好的，于是通称他们叫做 "DBCS"（Double Byte Charecter Set 双字节字符集）
原因：台湾出现BIG5;日本出现了XXX
ISO - (international standard orginaztion) 国际标谁化组织 的出现， 提出规范化编码措施
废除所有地区编码规范，提出统一编码原则
6. UNICODE (Universal Multiple-Octet Coded Character Set"，简称 UCS)
规定:于是 ISO 就直接规定必须用两个字节，也就是16位来统一表示所有的字符，
对于ascii里的那些“半角”字符，UNICODE 包持其原编码不变，
只是将其长度由原来的8位扩展为16位，而其他文化和语言的字符则全部重新统一编码。
由于"半角"英文符号只需要用到低8位，所以其高 8位永远是0，
英文文本时会多浪费一倍的空间。
范围：0x0000~0xFFFF双字
备注：他们为了在不同的国家销售同一套软件，
就不得不在区域化软件时也加持那个双字节字符集咒 语，
不仅要处处小心不要搞错，
还要把软件中的文字在不同的字符集中转来转去。UNICODE 对于他们来说是一个很好的一揽子解决方案
，于是从 Windows NT 开始，MS 趁机把它们的操作系统改了一遍，
把所有的核心代码都改成了用 UNICODE 方式工作的版本，
从这时开始，WINDOWS 系统终于无需要加装各种本土语言系统，就可以显示全世界上所有文化的字符了。
UNICODE 在制订时没有考虑与任何一种现有的编码方案保持兼容；
这使得 GBK 与UNICODE 在汉字的内码编排上完全是不一样的，这种转换必须通过查表来进行。
7. 网络数据交换时代
UNICODE -2 (65535) 二字节(简写UCS-2)
UNICODE - 4 (....) 四节节(简写UCS-4)
A)、字符是如何保存在内存中的呢？
在字符或字符串前加L表示后面跟的是UNICODE
wchar_t wch = L'1'; // 2 bytes, 0x0031
wchar_t* wsz = L"Hello"; // 12 bytes, 6 wide characters
1)、单字节字符串都是字符一一保存，以0结尾。
"Bob" 内存中形式为：
42 6F 62 00
B o b EOS
2)、Big Endian和Little Endian
上面提到了一个字符可能占用多个字节，那么这多个字节在计算机中如何存储呢？比如字符0xabcd，它的存储格式到底是 AB CD，还是 CD AB 呢？
实际上两者都有可能，并分别有不同的名字。如果存储为 AB CD，则称为Big Endian；如果存储为 CD AB，则称为Little Endian。
具体来说，以下这种存储格式为Big Endian，因为值(0xabcd)的高位(0xab)存储在前面：
系统开发者应该对Little-endian和Big-endian模式非常了解。采用Little-endian模式的CPU对操作数的存放方式是 从低字节到高字节，
而Big-endian模式对操作数的存放方式是从高字节到低字节。
例如，16bit宽的数0x1234在Little-endian 模式CPU内存中的存放方式（假设从地址0x4000开始存放）为：
内存地址 0x4000 0x4001
存放内容 0x34 0x12
而在Big-endian模式CPU内存中的存放方式则为：
内存地址 0x4000 0x4001
存放内容 0x12 0x34
32bit宽的数0x12345678在 Little-endian模式CPU内存中的存放方式（假设从地址0x4000开始存放）为：
内存地址 0x4000 0x4001 0x4002 0x4003
存放内容 0x78 0x56 0x34 0x12
而在Big-endian 模式CPU内存中的存放方式则为：
内 存地址 0x4000 0x4001 0x4002 0x4003
存放内容 0x12 0x34 0x56 0x78
3)、任何文字在Unicode中都对应一个值，这个值称为代码点（code point）。
规定存储方式的称为UTF（Unicode Transformation Format），其中应用较多的就是UTF-16和UTF-8了。
UTF-16BE和UTF-16LE不难理解，而UTF-16就需要通过在文件开头以名为BOM（Byte Order Mark）的字符来表明文件是Big Endian还是Little Endian。
BOM为U+FEFF这个字符。
举个例子。“ABC”这三个字符用各种方式编码后的结果如下：
UTF-16BE 00 41 00 42 00 43
UTF-16LE 41 00 42 00 43 00
UTF-16(Big Endian) FE FF 00 41 00 42 00 43
UTF-16(Little Endian) FF FE 41 00 42 00 43 00
UTF-16(不带BOM) 00 41 00 42 00 43
4)、UTF-8
UTF-16和UTF-32的一个缺点就是它们固定使用两个或四个字节，这样在表示纯ASCII文件时会有很多00字节，造成浪费。而RFC3629定义的UTF-8则解决了这个问题。
UTF-8用1～4个字节来表示代码点。表示方式如下：
Unicode是一个字符集，而UTF-8是Unicode的其中一种，Unicode是定长的都为双字节，而UTF-8是可变的，
对于汉字来说Unicode占有的字节比UTF-8占用的字节少1个字节。Unicode为双字节，而UTF-8中汉字占三个字节。
UTF-8编码字符理论上可以最多到6个字节长,然而16位BMP（Basic Multilingual Plane）字符最多只用到3字节长。下面看一下UTF-8编码表：
U-00000000 - U-0000007F: 0xxxxxxx
U-00000080 - U-000007FF: 110xxxxx 10xxxxxx
U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
