js字符编码笔记

一、  什么是unicode？

ascii码能表示的字符非常有限（128个字符），这对英文来说足够了，但是对法文、中文、土耳奇文等文字则远远不够，于是就产生了新的编码规则-unicode,unicode中的字符，可以表达世界上各种语言的常用文字和符号。

unicode是一种编码规则，它对全球上每种语言的字符指定一个唯一编码，这个编码叫做码点。它将码点进行了分区，每个分区可表示2^16个字符（65536），目前，Unicode的最新版本是7.0版，一共收入了109449个符号。

 

二、  unicode与utf-8的关系

unicode是编码规则，指定了字符的码点（二进制码）但未指定如何存储，utf-8是unicode编码的实现方法，是一种变长的编码存储方式，字符长度从1个字节到4个字节不等。越是常用的字符，字节越短，最前面的128个字符，只使用1个字节表示，与ASCII码完全相同。

详细的介绍请参考阮一峰老师的文章《Unicode与JavaScript详解》   《字符编码笔记：ASCII，Unicode 和 UTF-8》

---

 三、  js采用哪种编码方式？

js采用Unicode字符集，但是只支持usc-2编码（因为js语言发明的时候utf-16编码方法还没有被发明出来），这种编码方法只支持2个字节，由于JavaScript只能处理UCS-2编码，如果是4个字节的字符，会当作两个双字节的字符处理。JavaScript的字符函数都受到这一点的影响，无法返回正确结果。

为什么usc-c编码方式很少听到呢，因为UTF-16出现后便取代了UCS-2，UCS-2变成了UTF-16的子集。所以，现在只有UTF-16，没有UCS-2。

在utf-16中的前65535个码点，每个码点占用2个字节，65535之后的每个码点占用4个字节。也就是说，UTF-16的编码长度要么是2个字节（U+0000到U+FFFF），要么是4个字节（U+010000到U+10FFFF）

四、  js中unicode编码存在的问题、es6的改进

es6以前， 允许采用\uxxxx形式表示一个字符，其中xxxx是十六进制的unicode码点，该种表示法只限于码点在\u0000~\uFFFF之间的字符，超出这个范围的字符怎么办呢？答案是用双字节来表示

"\uD842\uDFB7"
// "𠮷"

es6对这种情况进行了改进，只需采用\{xxxx}形式即可

"\u{20BB7}"
// "𠮷"

"\u{41}\u{42}\u{43}"
// "ABC"

let hello = 123;
hell\u{6F} // 123

'\u{1F680}' === '\uD83D\uDE80'
// true

 

charCodeAt()  返回值是 0 - 65535 之间的十进制整数，这个方法不可靠，如果一个字符的unicode超过65535(比如中文的𠮷),需要4个字节储存。对于这种4个字节的字符，JavaScript 不能正确处理，字符串长度会误判为2，而且charAt方法无法读取整个字符，charCodeAt方法只能分别返回前两个字节和后两个字节的值。

因此es6中，提供了codePointAt()方法来修正这个问题，相关的方法如下：

• codePointAt()：从字符返回对应的码点
• fromCodePoint()：从Unicode码点返回对应字符
• at()：返回字符串给定位置的字符