摘要： 
在上一篇博文中，我们介绍了用正则表达式来匹配对应的模式，以实现简单的分词器。然而，正则表达式不是万能的，它本质上是一种有限状态机（finite state machine，FSM）, 无法处理含有递归语法的文本，比如算术运算表达式。要解析这类文本，需要另外一种特定的语法规则。我们这里介绍可以表示上下文无关文法（context free grammer）的语法规则巴科斯范式(BNF)和扩展巴科斯范式(EBNF)。实际上，小到一个算术运算表达式，大到几乎所有程序设计语言，都是通过上下文无关文法来定义的。对于简单的算术运算表达式，假定我们已经用分词技术将其转化为输入的tokens流。 阅读全文
在上一篇博文中，我们介绍了用正则表达式来匹配对应的模式，以实现简单的分词器。然而，正则表达式不是万能的，它本质上是一种有限状态机（finite state machine，FSM）, 无法处理含有递归语法的文本，比如算术运算表达式。要解析这类文本，需要另外一种特定的语法规则。我们这里介绍可以表示上下文无关文法（context free grammer）的语法规则巴科斯范式(BNF)和扩展巴科斯范式(EBNF)。实际上，小到一个算术运算表达式，大到几乎所有程序设计语言，都是通过上下文无关文法来定义的。对于简单的算术运算表达式，假定我们已经用分词技术将其转化为输入的tokens流。 阅读全文