词法分析(1)...

从整体上看, 词法分析是编译器前段的第一个部分, 它的任务是完成从字符流到记号流的转换.

字符流 : 其实就是源代码. 那么什么是记号流, 记号其实是一种数据结构, 方便编译器后期对代码进行有效处理而产生的, 比如在java 中, 这就是记号(Token).

public class Token {
    public static enum Type{
        Id, If, Else, While, For, LP, RP
    };

    private Type type;
    private String value;
}

 

实现方案至少有两种

1. 手工编码

2. 词法分析器的生成器

先看手工编码, 为了方便代码生成, 我们可以先生成所需要识别程序代码的状态转移图. 大概就长成这个样子 :

 

图里面有几点需要提一下 : 首先是 0 号状态 (开始状态) : 最明显的标志是有一个箭头从外指向它... 然后是2, 4, 6号状态, 他们由两个同心圆组成, 表示接受状态, 也就是说此时这个Token已经生成并且可以返回了(比如6号状态), 仔细看的话你会发先他们的右上角都有一个 * 的符号,  这说明在这个位置有一个回滚操作, 比如 你从输入流中读入了 i f 进去了状态5, 那么你只有在读入一个字母 (可以是空格), 你才能知道这边是if 而不会是 ifx 但是这个空格你是没有处理过的, 所以你必须把这个空格回滚到输入流中...

另外一点, 其实这个转移图可以改进, 我们会发现 程序的关键字 其实可以认为是标识符的一部分, 都是字母或者下划线开头, 字母下划线数字跟在后面, 所以更好的做法是先统一把关键字识别为标识符, 等到真正构造Token的时候在对它进行细化...

下面是一个小练习 :

我的代码实现...

 

package font;

public class Token {
    public static enum Type{
        IF, ID, NUM
    };

    private Type type;
    private String value;
    private int line;
    private int pos;

    public Token(Type type, String value, int line, int pos) {
        if(type == Type.ID && value.equals("if")){
            this.type = Type.IF;
        }else {
            this.type = type;
            this.value = value;
        }

        this.line = line;
        this.pos = pos - value.length();
    }


    @Override
    public String toString() {
        return type + "("+ value +")" + "("+ line + ", " + pos +")";
    }
}

package font;

import java.io.IOException;
import java.io.Reader;
import java.util.ArrayList;

public class Lexer {
    Reader reader;
    char[] buffer = new char[256];
    int length;
    int curPos = 0;
    StringBuilder sb = new StringBuilder();
    int line = 1;
    int pos = 1;
    ArrayList<Token> tokens = new ArrayList<>();
    boolean EOF = false;

    public Lexer(Reader reader) throws IOException {
        this.reader = reader;
        length = reader.read(buffer, 0, 256);
    }

    public void lex() throws IOException {
        char ch;
        while(true) {
            eatSpace();
            ch = buffer[curPos];
            if (isNumber(ch)) {
                sb.append(ch);
                pos++;
                while (isNumber(ch = buffer[++curPos])) {
                    sb.append(ch);
                    pos++;
                }
                tokens.add(new Token(Token.Type.NUM, sb.toString(), line, pos));
                sb = new StringBuilder();
            } else if (isIdentifier(ch)) {
                sb.append(ch);
                pos++;
                while (isIdentifier(ch = buffer[++curPos])) {
                    sb.append(ch);
                    pos++;
                }
                tokens.add(new Token(Token.Type.ID, sb.toString(), line, pos));
                sb = new StringBuilder();
            } else if (EOF) {
                return;
            } else {
                System.exit(110);
            }
        }
    }

    public void eatSpace(){
        char ch;
        while(Character.isWhitespace(ch = buffer[curPos++]) || ch == '\0'){
            if(ch == '\n'){
                line++;
                pos = 1;
            }else if(ch == '\0'){
                EOF = true;
                break;
            } else{
                pos++;
            }
        }
        curPos--;
    }

    public boolean isIdentifier(char ch){
        return (ch >= 'a' && ch <= 'z') || (ch >= 'A' && ch <= 'Z') || isNumber(ch);
    }

    public boolean isNumber(char ch){
        return ch >= '0' && ch <= '9';
    }

    public void print(){
        for(Token each : tokens){
            System.out.println(each);
        }
    }
}

package font;

import java.io.*;

public class Test {
    public static void main(String[] args) throws IOException {
        File fh = new File("/Users/zhangzhimin/test.c");
        Lexer lexer = new Lexer(new BufferedReader(new FileReader(fh)));
        lexer.lex();
        lexer.print();

    }
}

输出结果 :