编译原理 — 用Flex构造词法分析器
| 基于Flex构造词法分析器
【问题描述】设计c语言常见单词的正规式，编制lex源文件，利用flex编译得到词法分析的.c文件，继而对该文件编译得到词法分析器。 【输入形式】输入一段c语言程序 【输出形式】各类单词的token字，或者给出程序中的单词错误。 【样例输入】 int main(){ int a = 10; double b = 20.9; if(a <= b) a+=b; else a = 0; return a; }
【样例输出】 line1:(type, int) line1:(keyword, main) line1:(bracket, () line1:(bracket, )) line1:(bracket, {) line2:(type, int) line2:(identify, a) line2:(OPT, =) line2:(integer, 10) line2:(bracket, ;) line3:(type, double) line3:(identify, b) line3:(OPT, =) line3:(decimal, 20.9) line3:(bracket, ;) line4:(keyword, if) line4:(bracket, () line4:(identify, a) line4:(OPT, <=) line4:(identify, b) line4:(bracket, )) line5:(identify, a) line5:(OPT, +=) line5:(identify, b) line5:(bracket, ;) line6:(keyword, else) line6:(identify, a) line6:(OPT, =) line6:(integer, 0) line6:(bracket, ;) line7:(keyword, return) line7:(identify, a) line7:(bracket, ;) line8:(bracket, })
【样例说明】需要识别的关键字包括void, int, main, double, return, float, if, else, do, while, for, scanf, printf, char, sqrt, abs, 运算符(算术、关系、逻辑、位)；需要识别的其他单词有标识符, 整数（十进制形式、指数形式），实数（十进制形式、指数形式），字符串；过滤注释及空格。 【评分标准】根据设计文档的质量、lex文件的正确性，代码的正确性、代码的时间空间复杂度、识别单词的种类等综合评分 |
flex就简单学了一下，最后看了别人的代码，模仿着写了一个。
.I文件
/*e.l*/
%option main
%option yywrap
%{
#include <stdio.h>
#include <string.h>
int Row=1;
char *Ans = "";
%}
KeyWord("main"|"double"|"return"|"float"|"if"|"else"|"do"|"while"|"for"|"scanf"|"printf"|"char"|"sqrt"|"abs"|"float")
OPT ("+"|"-"|"%"|"*"|"/"|"+="|"-="|"*="|"/="|">"|"<"|"<="|">="|"=="|"="|"&"|"\|"|"!"|"<<"|">>")
Identify ({Letter}|_)({Letter}|_|{Digit})*
Digit [0-9]
UnsignedInteger [1-9]{Digit}*
Integer ("+"|"-")?{Digit}+("e"(("+"|"-"){UnsignedInteger})?)?
Decimal {Integer}.{Digit}+
Float {Integer}.{Digit}+("e"(("+"|"-"){UnsignedInteger})?)?
Letter [a-zA-Z]
Comment ("/*"|"*").*
Type ("int"|"double"|"short"|"char"|"void"|"long")
Bracket ("("|")"|"{"|"}"|"["|"]"|";"|","|"\"")
Typeidentity ("%"|"&")[a-z]
Next("\n")
%%
{Type} {
AddOutput(Row, "type", yytext);
}
{KeyWord} {
AddOutput(Row, "keyword", yytext);
}
{OPT} {
AddOutput(Row, "OPT", yytext);
}
{Identify} {
AddOutput(Row, "identify", yytext);
}
{Integer} {
AddOutput(Row, "integer", yytext);
}
{Decimal} {
AddOutput(Row, "decimal", yytext);
}
{Float} {
char *p = strchr(yytext, 'e');
if (p && yytext[strlen(yytext)-1] == 'e'){
printf("Error at Line %d: Illegal floating point number \"%s\".\n",Row,yytext);
return;
} else {
AddOutput(Row, "float", yytext);
}
}
{Next} {++Row;}
{Typeidentity} {
AddOutput(Row, "typeidentify", yytext);
}
{Bracket} {
AddOutput(Row, "bracket", yytext);
}
{Comment} {}
. {}
%%
int yywrap()
{
printf("%s", Ans);
return 1;
}
void AddOutput(int Row, char* type, char* text){
char str[50];
sprintf(str, "line%d:(%s, %s)\n", Row, type, text);
char *tmp = Ans;
Ans = (char *) malloc(strlen(tmp) + strlen(str) + 1);
sprintf(Ans, "%s%s", tmp, str);
if(strlen(tmp) > 0)
free(tmp);
return ;
}
把这个文件拖到 win_flex.exe 生成 lex.yy.c
第一题（得分1.00）
一开始没有接触过Flex工具，通过老师推荐的教程《flex与bison》对它有了大致的了解，做了几个书上的案例，结合CSDN上完成词法分析器的教程，完成了第一题。
Lex源文件很大一部分都是抄书上和教程上的，但因为学Lex的时间太短了，对于这个Lex的一些语句还不是特别理解，只是勉强能解决简单的词法分析任务，并不清楚Lex内函数的实现细节。
使用Lex来完成词法分析任务能大大减少我们的工作量。源文件仅仅使用了八十多行代码就完成了任务，相对于自己手写的两百行代码，极大的降低了任务的复杂度。更重要的是通过lex生成的代码质量高，可靠性好，比手写词法分析器产生的Bug应该会少一些。
但这并不意味着手写代码就不如Lex生成的代码。因为Lex生成的lex.yy.c文件有一千九百行，很不方便程序员对代码进一步修改，并且并不是每个人都很清楚函数的实现细节，如果真的出现Bug，对于普通人来说很难解决。
虽然通过了四组测试案例，但是还是有一些问题没有解决：
1.关键字和数据类型的问题没有解决。
在样例中可以看到，Int属于type类型，而float属于keyword类型。对于这种既是数据类型，又是关键字的词，题干中没有明确说明如何划分。
2. 我设置的小数类型是这样的
Decimal {Integer}.{Digit}+，
但在我自己测试的时候出现了这样的问题，他把20-1识别成了一个小数。
图一 存在的BUG1
3. 我设置的整数类型是这样的
Integer ("+"|"-")?{Digit}+("e"(("+"|"-"){UnsignedInteger})?)?
可是测试的时候把2e3识别成了小数
图一 存在的BUG2
