语法分析器初步学习——LISP语法分析
语法分析器初步学习——LISP语法分析
本文参考自vczh的《如何手写语法分析器》。
LISP的表达式是按照前缀的形式写的,比如(1+2)*(3+4)在LISP中会写成(*(+ 1 2)(+ 3 4)),1 + 2会写成(+ 1 2)。
LISP语言的语法如下形式:
1.Operator = “+” | “-” | “*” | “/”
2.Expression = <数字> | ”(”Expression”)” | “(”Operator Expression Expression”)”
我们根据以上两条语法规则来写代码:
// LISP语法分析器 #include <iostream> #include <string> using namespace std; // 检测是否是空白符 bool IsBlank(char ch) { return ch == ' ' || ch == '\t'; } // 检测Text是否是Stream的前缀 // 如果是前缀,则返回true,并将pos前移Text.size()个字符 // 如果不是前缀,则返回false // 此函数一开始会过滤掉Stream开头的空格 bool IsPrefix(const string& Stream, int& pos, const string& Text) { int read = pos; // 过滤空白符 while (IsBlank(Stream[read])) { ++read; } // 不能写为: // while (IsBlank(Stream[read++])); // 因为这样写会导致read至少加1 if (Stream.substr(read, Text.size()) == Text) // 如果是前缀 { pos = read + Text.size(); return true; } else { return false; } } // 检测Stream开头是否是操作符+、-、*、/ // 是的话,函数返回实际的操作符,并将pos便宜到操作符之后 // 否则返回0 // 判断语法1:Operator = “+” | “-” | “*” | “/” char IsOperator(const string& Stream, int& pos) { if (IsPrefix(Stream, pos, "+") || IsPrefix(Stream, pos, "-") || IsPrefix(Stream, pos, "*") || IsPrefix(Stream, pos, "/")) // 如果开头是操作符 { return Stream[pos - 1]; // 如果是的话,pos已经向前偏移了 } else { return 0; } } // 表达式结构体 struct Expression { int Result; // 返回表达式结果 string Error; // 返回错误信息,没错误则为空 int Start; // 错误发生的位置 Expression() : Result(0), Start(0) {} }; // 检测Stream开头是否是数字,如果是,则将pos便宜到数字之后 // 函数返回Expression // 判断语法2中的第一部分:Expression = <数字> Expression GetNumber(const string& Stream, int& pos) { Expression Result; bool GotNumber = false; int read = pos; // 过滤空白符 while (IsBlank(Stream[read])) { ++read; } while (true) { // 依次读入一个字符 char ch = Stream[read]; if (ch >= '0' && ch <= '9') { Result.Result = Result.Result * 10 + ch - '0'; GotNumber = true; ++read; } else { break; } } if (GotNumber) { pos = read; } else { Result.Error = "这里需要数字"; Result.Start = read; } return Result; } // 检测Stream开头是否是表达式 // 如果是,则将pos前移到表达式后 // 实现语法2:Expression = <数字> | “(”Expression“)” | “(”Operator Expression Expression“)” Expression GetExpression(const string& Stream, int& pos) { int read = pos; // 检测开头是否是数字 // 语法2第一部分:Expression = <数字> Expression Result = GetNumber(Stream, read); if (!Result.Error.empty()) // 如果开头不是数字 { if (IsPrefix(Stream, read, "(")) // 检测是否"("开头 { // 将Result的Error清空 Result.Error.clear(); char Operator = 0; if ((Operator = IsOperator(Stream, read)) != 0) // 如果是操作符,语法2第三部分:Expression = “(”Operator Expression Expression“)” { // 获取左参数 // 递归调用 Expression left = GetExpression(Stream, read); if (!left.Error.empty()) { return left; } // 保持当前read int rightRead = read; // 获取右参数 // 递归调用 Expression right = GetExpression(Stream, read); if (!right.Error.empty()) { return right; } // 根据操作符Operator进行计算 switch (Operator) { case '+': Result.Result = left.Result + right.Result; break; case '-': Result.Result = left.Result - right.Result; break; case '*': Result.Result = left.Result * right.Result; break; case '/': if (right.Result == 0) // 除数为0 { Result.Error = "除数为0"; Result.Start = rightRead; } else { Result.Result = left.Result / right.Result; } break; default: // 这种情况不会发生,因为前提是Operator,所以只有+、-、*、/四种情况 Result.Error = "未知的操作符"; Result.Start = read; return Result; } } else // 如果不是操作符 // 语法2的第二部分:Expression = “(”Expression“)” { // 获取表达式 Result = GetExpression(Stream, read); // 如果获取失败,则直接返回 if (!Result.Error.empty()) { return Result; } } // 检测是否有配套的")" if (!IsPrefix(Stream, read, ")")) { Result.Error = "此处缺少右括号"; Result.Start = read; } } } // 如果没有出错,则更新pos if (Result.Error.empty()) { pos = read; } // 检测是否有配套")"时,如果不存在,可以直接将Result返回 // 这样在后面就不用检测是否出错了,因为前面凡是出错的情况 // 都返回了,这样就不用检测了,而直接更新pos: pos = read return Result; } // 测试 int main() { while (true) { string Stream; cout << "输入一个LISP表达式" << endl; getline(cin, Stream); int pos = 0; if (IsPrefix(Stream, pos, "exit")) { break; } pos = 0; Expression Result = GetExpression(Stream, pos); if (!Result.Error.empty()) { cout << "表达式错误" << endl; cout << "位置:" << Result.Start << endl; cout << "错误信息:" << Result.Error << endl; } else { cout << "结果:" << Result.Result << endl; } } return 0; }
下面对程序代码解释如下:
数据结构
程序中用string型的字符串Stream来存储用户输入的表达式,int型的pos 作为当前扫描的位置。
Expression结构体用来标识语法二中的Expression,Expression结构体可以标识<数字> | ”(”Expression”)” | “(”Operator Expression Expression”)”三种形式的任意一种。Result元素用来记录正确表达式时的计算结果,Error用来当语法分析表达式时遇到的错误时,将错误信息记录下来。Start用来记录错误的位置,准确来讲是用来记录最后正确的下一个位置,因为错误字符串前的空白符会被忽略。
函数
IsBlank:用来检测char字符是否为空白符。
IsPrefix:用来检测Text字符串是否是Stream从pos起头的前缀。
IsOperator:用来检测Stream从pos起头,是否是以操作符+、-、*、/开头的。
GetNumber:用来检测Stream从pos起头,是否是以数字开头的。
GetExpression:用来检测Stream从pos开头,是否以表达式开头。
语法分析器的关键在于写出正确的语法,然后根据语法导出代码。语法定义中存在递归定义,代码中相应地也会出现递归调用。代码应该一一对应的对应到语法定义。
设计的巧妙之处
pos和read:pos用来标识扫描的位置,pos只用来记录正确分析的位置。在IsPrefix、GetNumber、GetExpression等函数中,都会在定义一个read,初始化为pos,用来作为实际的扫描游标,只有在正确分析后,read才会用来更新pos,否则read会返回给Result的Start,用来记录错误发生的位置,并且直接返回Result。用read来代替pos的内部操作,可以防止当分析失败时,还要讲pos还原的问题。
Expression结构体:Expression结构包含三个元素,Start和Error字段可以很地记录错误发生的位置以及错误信息。这样可以很好的处理发生错误的情况。
以上是最为简单的递归下降语法分析,更多的语法分析方面的知识有待进一步学习。
(完)
文档信息
·版权声明:自由转载-非商用-非衍生-保持署名 | Creative Commons BY-NC-ND 3.0
·博客地址:http://www.cnblogs.com/unixfy
·博客作者:unixfy
·作者邮箱:goonyangxiaofang(AT)163.com
·如果你觉得本博文的内容对你有价值,欢迎对博主 小额赞助支持