Unicode 和 UTF-8 有什么区别？ 知乎日报

Unicode 和 UTF-8 有什么区别？

作者：uuspider
链接：https://www.zhihu.com/question/23374078/answer/65352538
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

举一个例子：It's 知乎日报

你看到的unicode字符集是这样的编码表：

I 0049
t 0074
' 0027
s 0073
  0020
知 77e5
乎 4e4e
日 65e5
报 62a5

每一个字符对应一个十六进制数字。

计算机只懂二进制，因此，严格按照unicode的方式(UCS-2)，应该这样存储：

I 00000000 01001001
t 00000000 01110100
' 00000000 00100111
s 00000000 01110011
  00000000 00100000
知 01110111 11100101
乎 01001110 01001110
日 01100101 11100101
报 01100010 10100101

这个字符串总共占用了18个字节，但是对比中英文的二进制码，可以发现，英文前9位都是0！浪费啊，浪费硬盘，浪费流量。

怎么办？

UTF。

UTF-8是这样做的：

1. 单字节的字符，字节的第一位设为0，对于英语文本，UTF-8码只占用一个字节，和ASCII码完全相同；

2. n个字节的字符(n>1)，第一个字节的前n位设为1，第n+1位设为0，后面字节的前两位都设为10，这n个字节的其余空位填充该字符unicode码，高位用0补足。

这样就形成了如下的UTF-8标记位：

0xxxxxxx
110xxxxx 10xxxxxx
1110xxxx 10xxxxxx 10xxxxxx
11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
... ...

于是，”It's 知乎日报“就变成了：

I 01001001
t 01110100
' 00100111
s 01110011
  00100000
知 11100111 10011111 10100101
乎 11100100 10111001 10001110
日 11100110 10010111 10100101
报 11100110 10001010 10100101

和上边的方案对比一下，英文短了，每个中文字符却多用了一个字节。但是整个字符串只用了17个字节，比上边的18个短了一点点。

下边是课后作业：

请将”It's 知乎日报“的GB2312和GBK码(自行google)转成二进制。不考虑历史因素，从技术角度解释为什么在unicode和UTF-8大行其道的同时，GB2312和GBK仍在广泛使用。

剧透：一切都是为了节省你的硬盘和流量。

 

  [Test]
        public void Test20210521002()
        {
            var str = "It's 知乎日报";
            //PrintHexString(Encoding.ASCII, str);  //ascii本身不支持中文的，所以打印出来的是错误的
            //PrintHexString(Encoding.Unicode, str);
            PrintHexString(Encoding.BigEndianUnicode, str);
            PrintHexString(Encoding.UTF8, str);
            PrintHexString(Encoding.GetEncoding(936), str);
        }

        private void PrintHexString(Encoding encoding, string str)
        {
            int count = 0;
            foreach (var c in str)
            {
                var array = encoding.GetBytes(c.ToString());
                var hexString = GetHexString(array);
                Console.WriteLine($"{c}, {encoding.WebName}, U+{hexString}, {string.Join(string.Empty,array.Select(GetBinaryString))}");
                count += array.Length;
            }
            Console.WriteLine($"【{str}】 occupy {count} bytes when encoded by {encoding.WebName}");
            Console.WriteLine();
        }

        private string GetBinaryString(byte b)
        {
            return Convert.ToString(b, 2).PadLeft(8, '0');
        }

        private string GetHexString(byte[] array)
        {
            var list = array.Select(x => x.ToString("X2"));
            var str = string.Join(string.Empty, list);
            return str;
        }

 

I, utf-16BE, U+0049, 0000000001001001
t, utf-16BE, U+0074, 0000000001110100
', utf-16BE, U+0027, 0000000000100111
s, utf-16BE, U+0073, 0000000001110011
, utf-16BE, U+0020, 0000000000100000
知, utf-16BE, U+77E5, 0111011111100101
乎, utf-16BE, U+4E4E, 0100111001001110
日, utf-16BE, U+65E5, 0110010111100101
报, utf-16BE, U+62A5, 0110001010100101
【It's 知乎日报】 occupy 18 bytes when encoded by utf-16BE

 

I, utf-8, U+49, 01001001
t, utf-8, U+74, 01110100
', utf-8, U+27, 00100111
s, utf-8, U+73, 01110011
, utf-8, U+20, 00100000
知, utf-8, U+E79FA5, 111001111001111110100101
乎, utf-8, U+E4B98E, 111001001011100110001110
日, utf-8, U+E697A5, 111001101001011110100101
报, utf-8, U+E68AA5, 111001101000101010100101
【It's 知乎日报】 occupy 17 bytes when encoded by utf-8

 

I, gb2312, U+49, 01001001
t, gb2312, U+74, 01110100
', gb2312, U+27, 00100111
s, gb2312, U+73, 01110011
, gb2312, U+20, 00100000
知, gb2312, U+D6AA, 1101011010101010
乎, gb2312, U+BAF5, 1011101011110101
日, gb2312, U+C8D5, 1100100011010101
报, gb2312, U+B1A8, 1011000110101000
【It's 知乎日报】 occupy 13 bytes when encoded by gb2312