编码与字符集

编码与字符集

编码与字符集的区别

• 我们在计算机屏幕上看到的是实体化的文字，而在计算机存储介质中存放的实际是二进制的比特流。简单的说字符集就规定了某个文字对应的二进制数字存放方式（编码）和某串二进制数值代表了哪个文字（解码）的转换关系。
• 什么是字符编码？
  字符集只是一个规则集合的名字，对应到真实生活中，字符集就是对某种语言的称呼。例如：英语，汉语，日语。对于一个字符集来说要正确编码转码一个字符需要三个关键元素：字库表（character repertoire）、编码字符集（coded character set）、字符编码（character encoding form）。
  其中：字库表是一个相当于所有可读或者可显示字符的数据库，字库表决定了整个字符集能够展现表示的所有字符的范围。编码字符集，即用一个编码值code point来表示一个字符在字库中的位置。字符编码，将编码字符集和实际存储数值之间的转换关系。一般来说都会直接将code point的值作为编码后的值直接存储。例如在ASCII中A在表中排第65位，而编码后A的数值是0100 0001也即十进制的65的二进制转换结果。
• 字符编码的进一步理解：
  看到这里，可能很多人都会有和我当初一样的疑问：字库表和编码字符集看来是必不可少的，那既然字库表中的每一个字符都有一个自己的序号，直接把序号作为存储内容就好了。为什么还要多此一举通过字符编码把序号转换成另外一种存储格式呢？
  其实原因也比较容易理解：统一字库表的目的是为了能够涵盖世界上所有的字符，但实际使用过程中会发现真正用的上的字符相对整个字库表来说比例非常低。例如一些英语国家甚至简单的ASCII字库表就能满足基本需求。算的直接一些，同样一块硬盘，用ASCII可以存1500篇文章，而用3字节Unicode序号存储只能存500篇。于是就出现了UTF-8这样的变长编码。

常用字符集

以下字符集除Unicode，同时也是字符编码

常见字符集名称：ASCII字符集、GB2312字符集、BIG5字符集、GB18030字符集、Unicode字符集（万国码）等

UTF-8和Unicode的关系

Unicode就是上文中提到的编码字符集，而UTF-8就是字符编码，即Unicode规则字库的一种实现形式。Unicode标准也就自然而然的出现。它几乎涵盖了各个国家语言可能出现的符号和文字，并将为他们编号。
可以这样理解：Unicode是字符集，UTF-32/ UTF-16/ UTF-8是三种字符编码方案。

编码与字符集理解

• utf8 1-4个字节，utf-8汉字和中文字符一般占3个字节，数字和英文字符一般占1个字节
• 采用ISO8859-1编码方式时，一个中文字符与一个英文字符一样只占1个字节；采用GB2312或GBK编码方式时，一个中文字符占2个字节；而采用UTF-8编码方式时，一个中文字符会占3个字节
• Java中，类似硬转码写法为：String show = new String(oldString.getBytes(“GBK”)， “UTF-8”)。不过一般IO（输入输出）中建议就带上编码，这样代码中就不需要硬转码了
• 项目为UTF-8环境，char c = ‘中’，是否合法？
  因为Java是以unicode字符集作为编码方式的（JVM内部使用的是UTF-16编码）。unicode是一个定长的编码标准，每个字符都是2个字节，也就是1个char类型的空间。
  Java在编译时会把utf8的中文字符转换成对应的unicode来进行传输运算（即UTF-16）。
  所以是合法的。（即UTF-8是项目环境，实际展示的时候是转换为unicode字符集的UTF-16进行运算的）

​