ASCII、Unicode、UTF-8、UTF-8（without BOM）、UTF-16、UTF-32傻傻分不清
ASCII、Unicode、UTF-8、UTF-8（without BOM）、UTF-16、UTF-32傻傻分不清
前言
Github上下载了一份代码打算学习，源工程是在linux上开发的，我在Windows上编译通过不了，很多莫名奇妙的错误，最后发现源代码文件是UTF-8（without BOM）编码的，Notepad++修改编码格式为UTF-8编译通过。
- 为什么Windows不认识UTF-8（without BOM）？
- 为什么Linux认识UTF-8（without BOM）和UTF-8？
ASCII
毕竟在电子系混过四年，这个词不陌生，用一个字节的低7位来表示128个英文字符（0xxxxxxx），可是地球上的文字又不是只有英文，光汉字就好几万个，所以每个国家和地区又做了一套符合自身情况的编码规范，比如简体中文编码标准GB2312，使用两个字节来表示一个汉字，可以表示65536个中文字符。但是如果每个国家都这么搞那不就乱套了嘛，于是Unicode就应运而生了。
Unicode
Unicode是个符号集，与ASCII类似，只不过容量要大得多，可以理解成一张表，为世界上的每一个字符指定了一个惟一的二进制代码，但是它并没有规定这个二进制代码如何存储，于是乎UTF-8、UTF-8（without bom）、UTF-16、UTF-32应运而生。
UTF
-
UTF（Unicode Transformation Format）意为把Unicode字符转换成某种格式，常见到的有：
-
UTF-8：使用1至4个字节为每个字符进行编码，节省空间。
-
UTF-16：使2或4个字节为每个字符编码，大多数汉字采用2个字节，少了生僻字使用4个字节，编码单元为2个字节，所以存在字节序的问题，即大端还是小端。（不常用）
-
UTF-32：使4个字节为每个字符编码，编码单元为4个字节，所以存在字节序的问题，即大端还是小端。（不常用）
UTF-8
UTF-8是Unicode的实现方式之一，最大特点就是根据符号自动变化字节长度，即可变长编码，编码方式如下图所示：
Unicode符号范围 UTF-8编码
（十六进制） （二进制）
————————————————————————————————————————————————————————————
0000 0000 0000 007F | 0xxxxxxx
0000 0080 0000 07FF | 110xxxxx 10xxxxxx
0000 0800 0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000 0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
-
对于单字节字符，第一位为0，后面7位位对应的Unicode码，显然UTF-8是兼容ASCII的，
-
对于n(n > 1)字节字符，第一个字节的前n位都设为1，第 n+1位设为0，后面的n-1个字节前两位一律设为10，其余的字节（图上的x）即为Unicode码。
UTF-8（without BOM）
BOM（Byte Order Mark）字节顺序标记，即可以用来标记是大端还是小端。在Unicode里面定义了一个叫做
”ZERO WITH NO-BREAK SPACE“的不可见字符，对应的Unicode编码是FEFF，有BOM的文件即文件开头有”ZERO WITH NO-BREAK SPACE“不可见字符，反之则没有。若是大端编码，则文件开头是FEFF，小端则是FFFE。BOM是为了配合UTF-16和UTF-32使用，因为它们编码编码单元包含多个字节，涉及字节序的问题。
UTF-8以单字节为编码单元，不存在字节序的问题，但是可以使用BOM来表明所使用的编码方式，字符”ZERO WITH NO-BREAK SPACE“在UTF-8中的编码是EF BB BF，所以当解码文件时发现开头的单个字节是EF BB BF即说明是UTF-8编码，Windows就是使用BOM来标记文本的编码方式的。
怎样区分UTF-8、UTF-16和UTF-32
打开文本时根据BOM来区分当前文件的编码类型
BOM 编码类型
——————————————————————————————————————
EF BB BF UTF-8
FE FF UTF-16(大端)
FF FE UTF-16(小端)
00 00 FE FF UTF-32(大端)
FF FE 00 00 UTF-32(小端)
