词法分析程序 LEX和VC6整合使用的一个简单例子
词法分析的理论知识不少,包括了正规式、正规文法、它们之间的转换以及确定的有穷自动机和不确定的有穷自动机等等。。。
要自己写一个词法分析器也不会很难,只要给出了最简的有穷自动机,就能很方便实现了,用if、switch-case来写一通所谓的状态转换就可以,我近期会写一个简单的词法分析程序来作为例子。。。
现在已经有人发明了一个叫LEX的工具让你去应用,那我们就省了不少力气,毕竟没到万不得已的时候,我们都没必要重新发明轮子,从另一个角度来说,使用工具是我们人类知识继承的一种方法,也是我们比其他动物优胜的地方。所以这篇文章我们就来探讨一下如何使用这个工具。。。
工具的准备:
我是用了VC6和flex.exe(这个程序可以在WINDOWS下使用,下面还带了个BISON。exe的程序,可以上网找找看,下载下来,因为我都忘记在哪里下的了。。。)
flex.exe的使用:
首先要写个后缀为 .l 的文件,这个文件分为了上中下三部分,三部分是用两串的%%来隔开的。
开始部分是指你要准备的工作,例如定义一下要用到的变量阿之类的。。。
中间部分是指要识别的字串和识别到之后要进行的动作。。。
最后部分就是一些要拷贝到生成文件里的C代码了,LEX基本原封不动的帮你拷贝过去。。。
http://hovertree.com/
下面就是我写的 .l 文件,看到两个%%隔开的三部分了吧,如果用flex生成文件的过程中出现什么 "yywrap"的错误,就像我一样在下面加上 %option noyywrap 这一句:
%{
int num_lines = 0, num_chars = 0;
%}
%option noyywrap
%%
[a-z] ECHO;
/n ++num_lines; ++num_chars;
. ++num_chars;
%%
int main(int argc, char* argv[])
{
yylex();
printf( "# of lines = %d, # of chars = %d/n", num_lines, num_chars );
}
主要还是中间部分比较重要,在LEX的参考文档里,是一种 pattern--action 的对应,识别出来,要干吗就由你来定了,这里是:
1、[a-z] ECHO; 用ECHO来输出一下 字母字符串,
2、/n ++num_lines; ++num_chars;碰到/n换行符就行数加一,这样可以用来统计代码的行数,
3、. ++num_chars; 这里是碰到任何字符都字符数加一,这样可以统计一下字符的个数。
然后就用flex.exe来"编译"一下,如果没有错误,就直接通过并生成一个"lex.yy.c" 文件。。。
vc6和flex.exe的整合:
flex.exe给我们生成了个 .c 的文件,我们要在vc6里使用它,那首先就是建立一个console工程,把这个 C文件包含进来。上面写的.l 文件也要和"lex.yy.c" 文件放在一起。。。
然后直接编译,OK,通过了,我们运行之,然后敲一些数字和一些字母回车,我们就会发现,程序把字母显示出来了(ECHO),数字没有显示,然后我们按 CTRL+break 来退出程序的时候,就会输出有多少行和多少个字符。。。
上面我们的输出和输入都是标准的,就是屏幕,如果我们要读入一个文件来分析应该怎么办呢?
很简单,我们就改写一下"lex.yy.c" 文件里的main()函数,改成下面这样就好了(打开一个文件,把输入 yyin 指向文件的句柄,yyin 和 yylex 都是lex生成的固定变量和函数,还有一些yyout什么的,先自己看看哈):
int main(int argc, char* argv[])
{
FILE *f = fopen("main.txt", "r");
yyin = f;
yylex();
printf( "# of lines = %d, # of chars = %d/n", num_lines, num_chars );
}
好了,一个简单的词法分析程序就生成了,入了门,要做些别的事情就发挥你的想象力吧。。。
尚待解决的问题:
使用flex.exe和vc6的整合还是很不舒服,如果flex生成的是c++文件,又会要求包含一些unix下的头文件,我还没找到解决的办法,知道的请告诉我一下,先谢过哈。