神奇的字符编码

今天白月黑羽和大家说说字符编码

文字是怎么放到电脑里的呢？

我们眼睛看到的电脑上显示的字，包括汉字、英文、日文、韩文，这些文字，在计算机内部是怎么存储的？

难道是刻上去的？ 比如刻在硬盘上一个个这样的字？

当然不是，计算机都是用数字存储信息的。

用 磁场、电信号 等物理介质的 正负 状态 表示 0 和 1，如果一个数字只由0和1 表示，就是一个2进制的数字表示法。

用连续的0和1，就可以代表很大的数字。

比如

二进制 的 10 就表示十进制 的 2

二进制 的 110 就表示十进制 的 6

从右向左，每位 上的 1 分别代表 2的0次方（就是1）， 2的1次方（就是2），2的2次方（就是4），2的3次方（就是8） 等等， 依次类推。

根据不同的使用场合，数字可以表示不同的意义。

比如，需要存储 颜色 信息的时候， 0 可以用来代表 白色， 1 代表红色， 2 代表 黑色等等。

如果有10000种颜色，可以用 0 到 9999 一共 10000个数字分别代表他们。

同样的， 我们要存储 文字 信息，也可以用不同的数字来代表不同的文字。

字符集

计算机是美国人发明的，所以在开始的时候， 他们也没有想到将来要支持全世界的文字。

所以，最早的时候，他们定义了一个规范，定义一些数字 用来代表美国人使用的文字符号。

而美国人的单词都是用字母拼出来的， 所以他们常用的基础文字符号比较少。

就是字母，再加上 !@#$%^&*(){[]}+- 等等这些符号，也就100多个。

他们定义的规范就叫 ASCII （American Standard Code for Information Interchange） ，中文大意就是 美国信息交换标准码

大家可以参考 百度上面的ASCII表

这个 ASCII 码里面用128个数字代表了128个字符。

要存储和传输这 128个字符对应的文字信息 也很简单， 二进制有 8 位就足够了。

因为2的8次方等于256，可以存储 从 0 到255 一共 256个数字， 可以表示 最多 256 个文字符号。

二进制有 8 位 的长度 被称为 一个 字节 。

所以一个字节就可以存放 任何一个ASCII 文字符号。

ASCII 这样的 用数字代表文字符号的规范，就被称之为 字符集

后来计算机传遍了全世界，其它国家的文字符号就多了。

我们中文，就有这么多的文字符号。小学的时候，我们有个3000常用字表（我骄傲一下，小学1年级我就认识了近2000多个字)， 光常用字就有3千个。

当然还有 韩文、日文、繁体中文、阿拉伯文等等。

显然ASCII是不够的，我们需要其它的数字来代表这些文字符号。

开始各个国家和地区 自己定义了自己的 字符集。

比如我们中国就定义另外一套规范， 规定了 用什么样的数字代表什么样的文字符号。

这套规范也在不断的升级，包括 GB2312、GBK、GB18030

各个国家定义了各国的文字的字符集，这就带来了一个问题。

现在全球交流很密切，有时一篇文章会使用多国文字，比如 同时使用 日文和中文。 而没有各国的字符集是不包含别国文字的， 这时就没法在一篇文章中存储多国文字了。

为了解决这个问题。 国际标准化组织定义了一个字符集，想包括世界上所有的文字符号。

这就是大名鼎鼎的 unicode 字符集。

这个字符集里面包括了现今世界上的常用文字符号 和 其对应的数字表示。

这样就解决了在一篇文章中包含多国文字的问题了。

字符编码

unicode 出现了，很好，但是还有一个问题。 字符怎么存储和传输。

最初只有ASCII码的时候，一个字节（最多可以表示256个字符）就可以存储传输任何文字。

所以软件硬件对 每个字符都是用字节（8位二进制数字）来进行存储、传输的。 没有什么问题。

但是unicode里面有10多万的文字符号，数字范围 远远 超过 一个字节所能代表的数字。

所以一个字节不够。

那么怎么用多个字节来 表示这些数字呢？

这就有需要另外的规范。这些 如何用字节表示 字符对应的数字 就是 字符编码 规范

unicode字符 的编码，最常用的规范是 UTF8 和 UTF16 。

比如 UTF8 表示 中文字符 你 ，就是用 3个字节表示的，对应的16进制表示是 E4 、BD、 A0

当然我们中文字符集gb系列使用另外的编码规范。

以后，我们会写一篇文章，以UTF8为例，讲解它是如何用多个字节存储 数字的。

这里我们只要知道 不同的 编码规范 对数字有不同的 用字节表示的方法就行了。

有了编码规范，字符集 中的数字就可以进行存储和传输了

 

了解更多内容，请百度白月黑羽，或移步白月黑羽的官方网站