JavaScript词法
InputElement 输入元素
输入元素是JS词法扫描程序拿到的最基本元素了，也就是JS程序源代码中表达特定意义的"单词"。
输入元素共分为四种：
InputElement ::
WhiteSpace
Comment
Token
LineTerminator
值得注意的是，JS规范里面其实定义了两种InputElement ，如下所示
InputElementDiv ::
WhiteSpace
Comment
Token
LineTerminator
DivPunctuator
InputElementRegExp ::
WhiteSpace
Comment
Token
LineTerminator
RegularExpressionLiteral
这么做是因为JS的除法运算符和正则表达式直接量都使用了/字符，在词法分析阶段，是无法区分二者的。所以JavaScript的词法分析有两种状态，一种状态是扫描InputElementDiv，另一种状态是扫描InputElementRegExp，又所以，JS的词法分析器应该有两种状态，由语法分析器来设置，JavaScript的词法分析和语法分析必须交错进行。
下面的一个例子说明了除法和正则表达式写法的冲突问题：
if(a+b)/a/g;
(a+b)/a/g;
可以看到完全相同的/a/g（而且前面一段字符也相同），可能被理解为除法或者正则表达式。因为必须区分所处的语法环境，所以单单靠词法分析无论如何也无法决定该用除法还是正则表达式来理解。
因为基本上没有任何编辑环境会对文本做语法分析，这个问题也造成了很多语法着色系统无法很好地处理JS正则表达式。
以非语言实现者的角度，完全应该按照最上面一段产生式去理解JS的词法。
WhiteSpace空白符
这个词相信不用细说，所有JS程序员都比较熟悉。JavaScript接受5种ASCII字符为空白符，BOM以及Unicode分类中所有属于whitespace分类的字符也可以作为空白符使用：
WhiteSpace ::
<TAB>
<VT>
<FF>
<SP>
<NBSP>
<BOM>
<USP>
其中，<TAB>是U+0009，是缩进TAB符，也就是字符串中写的'\t'。
<VT>是U+000B，也就是垂直方向的TAB符'\v'，这个字符在键盘上很难打出来，所以很少用到。
<FF>是U+000C，Form Feed，分页符，字符串直接量中写作'\f'，现代已经很少有打印源程序的事情发生了，所以这个字符在JS源代码中很少用到。
<SP>是U+0020，就是最普通的空格了。
<NBSP>是U+00A0，非断行空格，它是SP的一个变体，在文字排版中，可以避免因为空格在此处发生断行，其它方面和普通空格完全一样。多数的JS编辑环境都会把它当做普通空格（因为一般源代码编辑环境根本就不会自动折行……）
<BOM>是U+FEFF，这是ES5新加入的空白符，是Unicode中的零宽非断行空格，在以UTF格式编码的文件中，常常在文件首插入一个额外的U+FEFF，解析UTF文件的程序可以根据U+FEFF的表示方法猜测文件采用哪种UTF编码方式。这个字符也叫做"bit order mark"。
<USP>表示Unicode中所有的"separator, space(Zs)"分类中的字符，包括：
| 字符 | 名称 | 你浏览器中的显示 |
|---|---|---|
| U+0020 | SPACE | |
| U+00A0 | NO-BREAK SPACE |
|
| U+1680 | OGHAM SPACE MARK |
|
| U+180E | MONGOLIAN VOWEL SEPARATOR |
|
| U+2000 | EN QUAD |
|
| U+2001 | EM QUAD |
|
| U+2002 | EN SPACE |
|
| U+2003 | EM SPACE |
|
| U+2004 | THREE-PER-EM SPACE |
|
| U+2005 | FOUR-PER-EM SPACE |
|
| U+2006 | SIX-PER-EM SPACE |
|
| U+2007 | FIGURE SPACE |
|
| U+2008 | PUNCTUATION SPACE |
|
| U+2009 | THIN SPACE |
|
| U+200A | HAIR SPACE |
|
| U+202F | NARROW NO-BREAK SPACE |
|
| U+205F | MEDIUM MATHEMATICAL SPACE |
|
| U+3000 | IDEOGRAPHIC SPACE |
|
注意虽然JS规范承认这些字符可以被用做空白字符，但是除非对源代码的打印、排版有特别的需求，还是应该尽量使用<SP>，尤其是考虑到，相当一批字体无法支持<USP>中的全部字符。
根据一些团队的编码规范，<TAB>常常用于缩进。编程语言中关于用<TAB>还是四个<SP>做缩进的争论从未停止过，此处就不加讨论了。
JS中，WhiteSpace的大部分用途是分隔token和保持代码整齐美观，基本上词法分析器产生的WhiteSpace都会被语法分析器直接丢弃。
所以一些WhiteSpace能够被去掉而完全不影响程序的执行效果。但是也有一些WhiteSpace必须存在的情况，考虑下面代码：
1 .toString();
1.toString(); //报错
上面一段代码中，空白符分隔了1和.，因此它们被理解为两个token。
1.["toString"]();
1 .["toString"](); //报错
相反的情况。
LineTerminator行终结符
这个也是一个非常常见的概念了，JS中只提供了4种字符作为换行符：
LineTerminator ::
<LF>
<CR>
<LS>
<PS>
其中，<LF>是U+000A，就是最正常换行符，在字符串中的'\n'。
<CR>是U+000D，这个字符真正意义上的"回车"，在字符串中是'\r'，在一部分Windows风格文本编辑器中，换行是两个字符\r\n。
<LS>是U+2028，是Unicode中的行分隔符。
<PS>是U+2029，是Unicode中的段落分隔符。
大部分LineTerminator在被词法分析器扫描出之后，会被语法分析器丢弃，但是换行符会影响JS的两个重要语法特性：自动插入分号和"no line terminator"规则。
考虑下面三段代码：
var a = 1 , b = 1; a ++ b
按照JS语法的自动插入分号规则，代码解释可能产生歧义。
但是因为后自增运算符有no line terminator的限制，所以实际结果等价于：
var a = 1 , b = 1; a; ++b;
考虑以下两段代码：
return
123;
return 123;
因为return有no line terminator的限制,所以第一段代码实际等同于
return; 123;
Comment注释
JS的注释分为单行注释和多行注释两种：
Comment :: MultiLineComment SingleLineComment
多行注释定义如下：
MultiLineComment ::
/* MultiLineCommentCharsopt */
MultiLineCommentChars ::
MultiLineNotAsteriskChar MultiLineCommentCharsopt
* PostAsteriskCommentCharsopt
PostAsteriskCommentChars ::
MultiLineNotForwardSlashOrAsteriskChar MultiLineCommentCharsopt
* PostAsteriskCommentCharsopt
MultiLineNotAsteriskChar ::
SourceCharacter but not asterisk *
MultiLineNotForwardSlashOrAsteriskChar ::
SourceCharacter but not forward-slash / orasterisk *
这个定义略微有些复杂，实际上这就是我们所熟知的JS多行注释语法的严格描述。
多行注释中允许自由地出现MultiLineNotAsteriskChar ，也就是除了*之外的所有字符。而每一个*之后，不能出现正斜杠符/
单行注释则比较简单：
SingleLineComment ::
// SingleLineCommentCharsopt
SingleLineCommentChars ::
SingleLineCommentChar SingleLineCommentCharsopt
SingleLineCommentChar ::
SourceCharacter but not LineTerminator
除了四种LineTerminator之外，所有字符都可以作为单行注释。
一般情况下，不论是单行还是多行注释都不会影响程序的意义，但是含有LineTerminator的多行注释会影响到自动插入分号规则：
return/*
*/123;
return /**/ 123;
两者会产生不同的效果。
Token
Token是JS中所有能被引擎理解的最小语义单元。
JS中有4种Token：
Token ::
IdentifierName
Punctuator
NumericLiteral
StringLiteral
如果不考虑除法和正则的冲突问题，Token还应该包括RegularExpressionLiteral，而Punctuator中也应该添加 / 和 /=两种符号。
IdentifierName
IdentifierName的定义为：
IdentifierName ::
IdentifierStart
IdentifierName IdentifierPart
IdentifierStart ::
UnicodeLetter
$
_
\ UnicodeEscapeSequence
IdentifierPart ::
IdentifierStart
UnicodeCombiningMark
UnicodeDigit
UnicodeConnectorPunctuation
<ZWNJ>
<ZWJ>
IdentifierName可以以美元符$下划线_ 或者Unicode字母开始，除了开始字符以外，IdentifierName中还可以使用Unicode中的连接标记、数字、以及连接符号。
IdentifierName的任意字符可以使用JS的Unicode转义写法，使用Unicode转义写法时，没有任何字符限制。
IdentifierName可以是Identifier、NullLiteral、BooleanLiteral或者keyword，在ObjectLiteral中，IdentifierName还可以被直接当做属性名称使用。
仅当不是保留字的时候，IdentifierName会被解析为Identifier。
UnicodeLetter, UnicodeCombiningMark, UnicodeDigit, UnicodeConnectorPunctuation各自对应几个Unicode的分类。
| JS词法名 | Unicode分类名 | code | 字符数 |
|---|---|---|---|
| UnicodeLetter | Uppercase letter | Lu | 1441 |
| Lowercase letter | Ll | 1751 | |
| Titlecase letter | Lt | 31 | |
| Modifier letter | Lm | 237 | |
| Other letter | Lo | 11788 | |
| Letter number | Nl | 224 | |
| UnicodeCombiningMark | Non-spacing mark | Mn | 1280 |
| Combining spacing mark | Mc | 353 | |
| UnicodeDigit | Decimal number | Nd | 460 |
| UnicodeConnectorPunctuation | Connector punctuation | Pc | 10 |
注意<ZWNJ>和<ZWJ>是ES5新加入的两个格式控制字符，但是目前为止实测还没有浏览器支持。
JS中的关键字有:
Keyword :: one of
break do instanceof typeof case else new var catch finally return void continue for switch while debugger function this with default if throw delete in try
还有7个为了未来使用而保留的关键字:
FutureReservedKeyword :: one of
class enum extends super const export import
在严格模式下,有一些额外的为未来使用而保留的关键字:
implements let private public interface package protected static yield
除了这些之外，NullLiteral：
NullLiteral ::
null
和BooleanLiteral：
BooleanLiteral ::
true false
也是保留字，不能用于Identifier。
Punctuator
JavaScript使用48个运算符,因为前面提到的除法和正则问题, /和/=两个运算符被拆分为DivPunctuator。其余的运算符为：
Punctuator :: one of
{ } ( ) [ ] . ; , < > <= >= == != === !== + - * % ++ -- << >> >>> & | ^ ! ~ && || ? : = += -= *= %= <<= >>= >>>= &= |= ^=
所有运算符在语法分析器中作为不同的symbol出现。
NumericLiteral
JS规范中规定的数字直接量可以支持两种写法：十进制和十六进制整数，尽管标准中没有提到，但是大部分JS实现还支持以0开头的八进制整数写法。
所以实际上JS的NumericLiteral产生式应该是这样的：
NumericLiteral :: DecimalLiteral HexIntegerLiteral OctalIntegerLiteralnot-standard
只有十进制可以表示浮点数，DecimalLiteral 定义如下:
DecimalLiteral ::
DecimalIntegerLiteral . DecimalDigitsopt ExponentPartopt
. DecimalDigits ExponentPartopt
DecimalIntegerLiteral ExponentPartopt
DecimalIntegerLiteral ::
0
NonZeroDigit DecimalDigitsopt
DecimalDigits ::
DecimalDigit
DecimalDigits DecimalDigit
DecimalDigit :: one of
0 1 2 3 4 5 6 7 8 9
NonZeroDigit:: one of
1 2 3 4 5 6 7 8 9
ExponentPart::
ExponentIndicator SignedInteger
ExponentIndicator :: one of
e E
SignedInteger ::
DecimalDigits
+ DecimalDigits
- DecimalDigits
JS中的StringLiteral支持单引号和双引号两种写法。
十进制数的小数点前和小数点后均可以省略， 所以 1. 和 .1 都是合法的数字直接量，特别地，除了0之外，十进制数不能以0开头（这其实是为了八进制整数预留的）。
.同时还是一个Punctuator，在词法分析阶段，.123 应该优先被尝试理解为 NumericLiteral ，而非 Punctuator NumericLiteral。
十六进制整数产生式如下：
HexIntegerLiteral ::
0x HexDigit
0X HexDigit
HexIntegerLiteral HexDigit
HexDigit :: one of
0 1 2 3 4 5 6 7 8 9 a b c d e f A B C D E F
JS中支持0x标记的大小写形式，十六进制数字中的大小写也可以任意使用。
八进制整数是非标准的，但是大多数引擎都支持：
OctalIntegerLiteral ::
0 OctalDigit
OctalIntegerLiteral OctalDigit
OctalDigit :: one of
0 1 2 3 4 5 6 7
StringLiteral
JS中的StringLiteral支持单引号和双引号两种写法。
StringLiteral ::
" DoubleStringCharactersopt "
' SingleStringCharactersopt '
单双引号的区别仅仅在于写法，在双引号字符串直接量中，双引号必须转义，在单引号字符串直接量中，单引号必须转义
DoubleStringCharacters ::
DoubleStringCharacter DoubleStringCharactersopt
SingleStringCharacters ::
SingleStringCharacter SingleStringCharactersopt
DoubleStringCharacter ::
SourceCharacter but not double-quote " or backslash \ or LineTerminator
\ EscapeSequence
LineContinuation
SingleStringCharacter ::
SourceCharacter but not single-quote ' orbackslash \ or LineTerminator
\ EscapeSequence
LineContinuation
字符串中其他必须转义的字符是\和所有换行符。
JS中支持四种转义形式，还有一种虽然标准没有定义，但是大部分实现都支持的八进制转义
EscapeSequence ::
CharacterEscapeSequence
0 [lookahead no DecimalDigit]
HexEscapeSequence
UnicodeEscapeSequence
OctalEscapeSequencenot-standard
第一种是单字符转义。 即一个反斜杠\ 后面跟一个字符这种形式。
CharacterEscapeSequence ::
SingleEscapeCharacter
NonEscapeCharacter
SingleEscapeCharacter :: one of
' " \ b f n r t v
NonEscapeCharacter ::
SourceCharacter but notEscapeCharacter or LineTerminator
有特别意义的字符包括有SingleEscapeCharacter所定义的9种，见下表：
| 转义字符 | 转义结果 | 你浏览器中的显示 |
|---|---|---|
| ' | U+0022 | " |
| " | U+0027 |
' |
| \ | U+005C |
\ |
| b | U+0008 | |
| f | U+000C |
|
| n | U+000A | |
| r | U+000D | |
| t | U+0009 |
|
| v | U+000B |
|
除了这9种字符、数字、x和u以及所有的换行符之外，其它字符经过\转义都是自身。
十六进制转义只支持两位，也就是说，这种写法只支持ASCII字符：
HexEscapeSequence ::
x HexDigit HexDigit
Unicode转义可以支持BMP中的所有字符：
UnicodeEscapeSequence ::
u HexDigit HexDigit HexDigit HexDigit
LineContinuation可以被理解为一种特别的转义。写字符串直接量时灵活使用LineContinuation可以增加可读性。
LineContinuation ::
\ LineTerminatorSequence
LineTerminatorSequence ::
<LF>
<CR> [lookahead no <LF> ]
<LS>
<PS>
<CR>
<CR> <LF>
为了适应Windows风格的文本，JS把"\r\n"作为一个换行符使用。
注意因为CR在某些windows风格的编辑器中没法显示出来，所以乱用的话会产生奇怪的效果。
RegularExpressionLiteral
正则表达式由Body和Flags两部分组成：
RegularExpressionLiteral ::
/ RegularExpressionBody / RegularExpressionFlags
其中Body部分至少有一个字符，第一个字符不能是*（因为/*跟多行注释有词法冲突。）
RegularExpressionBody ::
RegularExpressionFirstChar RegularExpressionChars
RegularExpressionChars ::
[empty]
RegularExpressionChars RegularExpressionChar
RegularExpressionFirstChar ::
RegularExpressionNonTerminator but not * or \ or / or [
RegularExpressionBackslashSequence
RegularExpressionClass
RegularExpressionChar ::
RegularExpressionNonTerminator but not \ or / or [
RegularExpressionBackslashSequence
RegularExpressionClass
除了\ / 和 [ 三个字符之外，JS正则表达式中的字符都是普通字符。
RegularExpressionBackslashSequence ::
\ RegularExpressionNonTerminator
RegularExpressionNonTerminator ::
SourceCharacter but not LineTerminator
用 \和一个非换行符可以组成一个RegularExpressionBackslashSequence，这种方式可以用于表示正则表达式中的有特殊意义的字符。
RegularExpressionClass ::
[ RegularExpressionClassChars ]
正则表达式中，用一对方括号表示class。class中的特殊字符仅仅为]和\。
class允许为空。
class中也支持转义。
RegularExpressionClassChars ::
[empty]
RegularExpressionClassChars RegularExpressionClassChar
RegularExpressionClassChar ::
RegularExpressionNonTerminator but not ] or \
RegularExpressionBackslashSequence
正则表达式中的flag在词法阶段不会限制字符，虽然只有ig几个是有效的，但是任何IdentifierPart序列在词法阶段都会被认为是合法的。
RegularExpressionFlags ::
[empty]
RegularExpressionFlags IdentifierPart
一些词法分析认为合法，但是实际上不符合正则语法的例子：
附表 JS词法摘要
| 英文名 | 名称 | 简述 | 示例 |
|---|---|---|---|
| InputElement | 输入元素 | 一切JS中合法的"词" | |
| ┣Comments | 注释 | 用于帮助阅读的文本 | |
| ┃┣SingleLineComments | 单行注释 | 以//起始的单行注释 |
//I'm comments |
| ┃┗MultiLineComments | 多行注释 | 以/*起始以*/结束的注释 |
/*I'm comments,too.*/ |
| ┣WhiteSpace | 空白 | 起到分隔或者保持美观作用的空白字符 |
|
| ┣Token | 词法标记 | 一切JS中有实际意义的词法标记 | |
| ┃┣IdentifierName | 标识名称 | 以字母或_或$开始的一个单词，可以用于属性名 | |
| ┃┃┣Identifier | 标识符 | 非保留字的IdentifierName，可以用于变量名或者属性名 |
abc |
| ┃┃┣Keyword | 关键字 | 有特殊语法意义的IdentifierName |
while |
| ┃┃┣NullLiteral | Null直接量 | 表示一个Null类型的值 |
null |
| ┃┃┗BooleanLiteral | 布尔直接量 | 表示一个Boolean类型的值 |
true |
| ┃┣Punctuator | 标点符号 | 表示特殊意义的标点符号 |
* |
| ┃┣NumericLiteral | 数字直接量 | 表示一个Number类型的值 |
.12e-10 |
| ┃┣StringLiteral | 字符串直接量 | 表示一个String类型的值 |
"Hello world!" |
| ┃┗RegularExpressionLiteral | 正则表达式直接量 | 表示一个RegularExpression类的对象 |
/[a-z]+$$/g |
| ┗LineTerminator | 行终结符 | 起到分隔或者保持美观作用的换行字符，可能会影响自动插入分号 |
附表 所有JS词法中的不可见字符
| 简写 | 字符 | 概述 |
|---|---|---|
| <TAB> | U+0009 | tab符，用于空白 |
| <VT> | U+000B | 竖向tab符，用于空白 |
| <FF> | U+000C | 换页，用于空白 |
| <SP> | U+0020 | 空格，用于空白 |
| <NBSP> | U+00A0 | 非断行空格，用于空白 |
| <BOM> | U+FEFF | 零宽非断行空格，字节序标记，用于空白 |
| <ZWNJ> | U+200C | 零宽非连接符，用于标识符 |
| <ZWJ> | U+200D | 零宽连接符，用于标识符 |
| <LF> | U+000A | 换行，用于行终结符 |
| <CR> | U+000D | 回车，用于行终结符 |
| <LS> | U+2028 | 行分隔符，用于行终结符 |
| <PS> | U+2029 | 页分隔符，用于行终结符 |
