词法分析小结

总结

编译程序时，第一步要做的就是词法分析。
用词法分析对输入的字符串形式的源程序按顺序进行扫描，针对指定的语言，根据源程序的词法规则识别具有独立意义的单词（符号），其中对于错误的词法也要进行识别，并输出与其等价的Token序列。
首先，构造识别单词的自动机，例如：

其次，将各类单词的状态转换图合并，构成一个能识别语言所有单词的状态转换图，使Token序列状态精简分类。如定义的Token序列单词种类：
标识符——1 整数int型——2 浮点数float型——3
数据类型——4 保留字——5 运算符——6 括号等符号——7
而当识别到换行时，将行号递增；识别到注释和制表符时不做操作；最后其余的报错。