(基于Java)编写编译器和解释器-第2章：框架I：编译器和解释器-第二部分(连载)

续 第一部分

消息(Messages)

翻译源程序时，Parser需要汇报一些状态信息，比如发现语法错误后的错误消息。不过你不能让paser关心该在那儿发送消息或者消息收到之后该怎么处理。类似地，source(类)组件每读入一行时可发送一条包含行文本和行号的消息。接收者可能用这些消息产生一个源码清单，但是你不能让source组件操心这事。

设计笔记

保持消息的发送者(parser和source)与消息接收者之间松耦合。两个组件松耦合就是说他们之间的依赖最小，一个组件能够很容易在不对另一组件造成不利影响下更改。在大型复杂应用中，松耦合能让独立组件开发与团队并行组件开发和谐相处。

图2-4 针对图2-3 进行了扩展，展示了Parser和Source类要用到的message包中的消息接口和类，这两个类都实现了接口MessageProducer且每个都有一个MessageHandler。两个类也引用了Message和MessageType类。

设计笔记

在UML类图中，一个带封闭空箭头的虚箭号（比如Parser到MessageProducer和Source到MessageProducer)指出了一个类实现的接口。

图2-4 message包

Parser和Source类都实现了MessageProducer接口，因此每个类必须定义addMessageListener()，removeMessageListener()和sendMessage()方法。与此同时，任何想接收parser和source消息的对象可以分别通过调用parser或source的addMessageListener方法去订阅这些消息。对象不想监听的时候可调用removeMessageListener方法。parser或source每个都能有多个监听器，当它有消息时，可通过调用每一个监听器的messageReceived方法将消息发送出去。

消息生产者(这儿是典型的生产者1/消费者N模式)可拥有一个MessageHandler对象，这样生产者就在addMessageListener()、removeMessageListener()和sendMessage()等方法中调用相应MessageHandler中的方法。换句话说，消息生产者将这些方法交由消息句柄类(MessageHandler)代理。

每次source读了一行新的源代码，在readLine()方法送就会调用消息句柄类的sendMessage()方法，将包含行数和行类容的SOURCE_LINE消息发送到所有监听器。SOURCE_LINE消息报文(body字段)有两个域，一个是lineNumber表示行号，一个是lineText表示行文本。（实际上以数组表示的）

清单2-7 展示了MessageProducer接口

/**
 * <p>能够产生消息的类的公共接口，source, scanner, parser, backend都能产生消息</p>
 */
public interface MessageProducer
{
    /**
     * @param listener 要加入的监听器
     */
    public void addMessageListener(MessageListener listener);

    /**
     * @param listener 要移除的监听器
     */
    public void removeMessageListener(MessageListener listener);

    /**
     * @param message 要向所有注册的监听器广播的消息
     */
    public void sendMessage(Message message);
}

清单2-8 扩展了清单2-1，展示了Parser实现了MessageProducer接口，并有一个MessageHandler成员。

public abstract class Parser implements MessageProducer
{
    protected static SymTab symTab = null;                  // 生成的符号表
    // 代理消息处理类
    protected static MessageHandler messageHandler = new MessageHandler();
    // 此处省略.....
    public void addMessageListener(MessageListener listener)
    {
        messageHandler.addListener(listener);
    }
    public void removeMessageListener(MessageListener listener)
    {
        messageHandler.removeListener(listener);
    }
    public void sendMessage(Message message)
    {
        messageHandler.sendMessage(message);
    }
    //省略.....
}

Source同样实现了MessageProducer接口。清单2-9 展示了它发送SOURCE_LINE消息的readLine方法。

private void readLine()
        throws IOException
    {
        line = reader.readLine();
        currentPos = -1;
        //如果读成功，行数+1
        if (line != null) {
            ++lineNum;
        }

        //每成功读入一行，将当前行数和当前行文本内容以消息方式广播，方便监听器处理。
        if (line != null) {
            sendMessage(new Message(SOURCE_LINE,
                                    new Object[] {lineNum, line}));
        }
    }

所有订阅消息的类必须实现MessageListener接口。留意清单2-10代码，每次消息生产者产生一条消息，它通过调用监听器的messageRecieved()方法，以message作为参数，通知所有监听器。

 

/**
 * <p>消息监听器公共接口</p>
 */
public interface MessageListener
{
    /**
     * @param message 要处理的消息
     */
    public void messageReceived(Message message);
}

清单2-11 展示了message包中的Message类构造器。所有发送到监听器的消息都是这个格式。每个消息有一个类型域和一个通用报文域，并提供相应的getter方法（没列出)。

package wci.message;

/**
 * <p>消息类</p>
 */
public class Message
{
    //消息类型
    private final MessageType type;
    //消息报文
    private final Object body;
    public Message(MessageType type, Object body)
    {
        this.type = type;
        this.body = body;
    }
}

清单2-12 展示了MessageType枚举类型用来表示各种消息类型。

public enum MessageType
{
    SOURCE_LINE, SYNTAX_ERROR,
    PARSER_SUMMARY, INTERPRETER_SUMMARY, COMPILER_SUMMARY,
    MISCELLANEOUS, TOKEN,
    ASSIGN, FETCH, BREAKPOINT, RUNTIME_ERROR,
    CALL, RETURN,
}

清单2-13 展示了代理类MessageHandler。如上文所见，消息生产者能创建一个消息句柄然后将工作移交给它（MessageHandler)。消息句柄维护一个消息监听器列表。消息生产者调用sendMessage()方法处理新消息。私有方法notifyListeners()通过调用监听器的messageReceived()方法将消息发给所有监听器。

/**
 * <p>一个句柄类用于替代MessageProducer处理消息</p>
 */
public class MessageHandler
{
    private Message message;    // 消息
    private ArrayList<MessageListener> listeners;  // 监听器列表
    public MessageHandler()
    {
        this.listeners = new ArrayList<MessageListener>();
    }
    public void addListener(MessageListener listener)
    {
        listeners.add(listener);
    }
    public void removeListener(MessageListener listener)
    {
        listeners.remove(listener);
    }
    public void sendMessage(Message message)
    {
        this.message = message;
        notifyListeners();
    }
    private void notifyListeners()
    {
        for (MessageListener listener : listeners) {
            listener.messageReceived(message);
        }
    }
}

设计笔记

MessageProducer和MessageListener接口和MessageHandler类一起实现了观察者模式(Observe Design Pattern)。此模式让消息生产者和消息监听者保持送耦合。

这里的松耦合意思是消息生产者的责任仅句局限于产生消息和通知监听器。消息生产者毋需关心那个是监听器或它们到底如何处理消息，在不修改代码的情况下，它能增加或移除监听器并容纳任意实现了MessageListener接口的监听器。消息生产者或监听器的改动彼此不影响，如果紧耦合将会有问题。

消息生产者类可用MessageHandler辅助类去实际维护和通知监听器。这是代理模式的一个例子(Delegation），一个类让另一个类代替自己处理某些任务。代理模式同样缩小了类的职责且支持送耦合，代理类(此处为MessageHandler)能被任意其他类使用。这比在超类中实现一些功能然后强制子类继承方便多了。通常组合(联合代理类）优于继承。

中间层

图2-5 展示了frontend，intermediate，backend等包的类图。遵照概念设计，在前端和后端之间的中间码和符号表都是接口。现在只是简单的在intermediate包中定义两个占位接口作为框架组件。backend包中同样定义了抽象类Backend作为框架组件。

图2-5：在intermediate包两边frontend包和backend包对称出现。

上图展示了frontend包中的一个框架对象Parser和backend包中的Backend对象拥有中间码和符号表对象。Parser类，Backend类跟MessageHandler类和MessageProducer接口有相同的引用关系。因此框架具有良好的的对称性。

清单2-14 ICode接口（本章以占位类出现）

package wci.intermediate;

public interface ICode
{
}

清单2-15 SymTab接口（本章以占位类出现）

package wci.intermediate;

public interface SymTab
{
}

后端

概念设计指出后端将会支持编译器或解释器。如同类图2-5显示的那样，backend包中的Backend类同样是一个消息生产者。与frontend包中的Parser和Source类一样，backend包中的Backend类也实现了MessageProducer接口且将消息处理交由MessageHandler辅助类代理。抽象方法process()需要中间码和符号表的引用（这两个对象产生自Parser)。编译器实现process()为生成代码，而解释器实现process()方法为执行程序。

清单2-16 展示了Backend类中的proces()方法。getter方法和MessageProducer接口相关方法没有展示。

/**
 * <p>框架后端组件类</p>
 */
public abstract class Backend implements MessageProducer
{
    protected SymTab symTab;  // 符号表
    protected ICode iCode;    // 中间码即语法树

    /**
     * 处理来自前端Parser产生的中间码和符号表，或编译生成代码或执行
     * @param iCode 符号表
     * @param symTab 中间码即语法树
     * @throws Exception
     */
    public abstract void process(ICode iCode, SymTab symTab)
        throws Exception;
}

到此完成了框架所有组件，满足本章的第一个目标。框架组件与语言无关；到了填充Pascal或其它语言相关内容的时间了。后端组件能支持编译器或解释器。

具体Pascal前端组件

现在框架组件已就绪，将基于框架组件定义一些初期Pascal相关组件。换句话说，这些组件将会是框架组件的子类，提供抽象方法的具体语言实现。

图2-6的类图展示了Parser和Scanner的Pascal实现。Pascal相关前端类定义在frontend.pascal包中。

Pascal Parser

Pascal Parser的初期实现极其简单。类名PascalParserTD表明了源语言和解析类型（Top-Down还是Bottom-Up，具体参见维基百科或龙书)。

清单2-17：类PascalParserTD的初期实现

/**
 * <p>Top-Down模式的Pascal Parser</p>
 */
public class PascalParserTD extends Parser
{
    public PascalParserTD(Scanner scanner)
    {
        super(scanner);
    }
    /**
     *Pascal的解析过程，产生Pascal相关的iCode和symbol table
     */
    public void parse()
        throws Exception
    {
        Token token;
        long startTime = System.currentTimeMillis();

        while (!((token = nextToken()) instanceof EofToken)) {}

        // 发送解析摘要信息
        float elapsedTime = (System.currentTimeMillis() - startTime)/1000f;
        sendMessage(new Message(PARSER_SUMMARY,
                                new Number[] {token.getLineNumber(),
                                              getErrorCount(),
                                              elapsedTime}));
    }
    public int getErrorCount()
    {
        return 0;
    }
}

这里的parser()实现了父类的抽象方法。parse方法只干一件事，反复的调用父类的nextToken()方法直到碰到EofToken。目前它忽略token类型。调用nextToken方法强制sanner从source读取token。parser方法也计算全部解析时间并发送一条解析摘要消息。目前getErrorCount方法简单的返回0(因为没有实际的解析过程，也就没有错误了）。

Parser约定其摘要消息格式为：

• token.getLineNumber()：源程序行读取数
• getErrorCount()：语法错误数
• elapsedTime：耗用时间

所有PARSER_SUMMARY监听器都必须遵从这样的格式。你将会在后续章节进一步完善这个方法。

Pascal Scanner

我们最初的Pascal 扫描器实现还是很简单。PascalScanner实现了父类Scanner的extractToken方法，见 清单2-18

清单2-18：PascalScanner初级实现

/**
 * <p>用于Pascal源程序的Scanner</p>
 */
public class PascalScanner extends Scanner
{
    public PascalScanner(Source source)
    {
        super(source);
    }
    /**
     * 提取source下一个Pascal Token。
     * @return token
     * @throws Exception.
     */
    protected Token extractToken()
        throws Exception
    {
        Token token;
        char currentChar = currentChar();

        //文件结束，返回一个特殊EofToken
        if (currentChar == EOF) {
            token = new EofToken(source);
        }
        else {
            //将具体构成Token的细节放在Token中是否合适？也就是说Token本身包含逻辑是否合理？有待商榷
            token = new Token(source);
        }

        return token;
    }
}

此处的extractToken实现为后续章节的完善建了一个样板。调用父类的currentChar方法设置当前源字符。前面讲过，当前字符决定该创建什么类型的token（这个很好理解，比如 a=1，碰到a 创建一个id token，接着=是一个操作符，接着数字1是一个数字token)。目前extractToken方法不知道其它token（因为本章没有实现token类型），它碰到文件结束字符EOF创建一个EofToken对象，否则创建一个一般Token对象。

你如何确认后写的每次extractToken()方法就会返回下一个Token？记住每个token的extract方法吞噬源字符且将行中位置定位到Token最尾字符后一个位置。因此下次调用extractToken方法时，调用currentChar()方法将会返回前一个Token后的第一个字符。

你将在下章开发一个完整的Pascal 扫描器。

设计笔记

Java的访问控制修饰符public（公有)、protected(受保护）、private（私有）在维持程序的安全性、可靠性和模块化中扮演重要角色。公有域或方法能够被其它类不受限制访问。受保护的与或方法能够被同包的任何类访问或者不同包的子类访问。包级域或方法（package，也就是不加任何访问控制修饰词）仅能被同一包的其它类访问。私有域或方法只能被同一类中其它元素访问。

你会经常让“受保护”的域和方法能被同一包的其它对象访问，比如前端包。受保护访问在定义具体语言的框架子类尤其有用。每个子类能访问付了的受保护域或方法。

公有方法承担着跨包访问的网关角色。比如Parser的parser方法是公有的，所以能被其它包调用。限制公有方法的数量有助于保持模块化。

顶级类能够有公有或包级控制谁能够访问它们的对象。一个定义在其它中的类可以是私有的。

在程序设计中，尽可能为每个类、域、方法制定制定正确的访问控制修饰符。一条好经验是在可用前提下使用最严格的访问控制。不过，在复杂的程序如编译器和解释器中，随着程序变大，返回去修改现存修饰符很正常。

前端工厂类

前端的组件是语言无关的。你接着将具体语言组件集成到框架中。框架能够支持解析不同的源语言，甚至同一语言的不同解析类型（比如就可以将Pascal的Top-Down和bottom-up解析放到一个框架中）。对任何具体语言来说，Parser和Scanner联系很紧密。

清单2-19 FrontEndFactory工厂类

/**
 * <p>根据具体源语言创建对应的Parser，本书中只有Pascal。</p>
 */
public class FrontendFactory
{
    /**
     * 创建Parser
     * @param language 源语言名称，目前只支持Pascal
     * @param type 解析器类型，目前只支持top-down类型
     * @param source 代表源文件的source对象
     * @return 解析器
     * @throws Exception
     */
    public static Parser createParser(String language, String type,
                                      Source source)
        throws Exception
    {
        if (language.equalsIgnoreCase("Pascal") &&
            type.equalsIgnoreCase("top-down"))
        {
            Scanner scanner = new PascalScanner(source);
            return new PascalParserTD(scanner);
        }
        else if (!language.equalsIgnoreCase("Pascal")) {
            throw new Exception("Parser 工厂: 不支持的语言 '" +
                                language + "'");
        }
        else {
            throw new Exception("Parser 工厂: 不支持的类型 '" +
                                type + "'");
        }
    }
}

静态方法createParser干了所有事情，给定表明源语言和编译类型的字符串参数和一个source参数，它验证语言（本书只有Pascal一种）和类型（只有Top-Down)，如果都正确，方法创建一个附带source的PascalScanner对象，接着创建并返回一个附带scanner的PascalParserTD 对象。

设计笔记

工厂类不仅仅是为了方便。因为parser和scanner的铁哥们关系，使用工厂类确保它们成对出现。例如一个Pascal parser总是带着一个Pascal scanner。

使用工厂类也保留了灵活性。如下赋值：

Parser parser = FrontendFactory.createParser( … ); (1)

远比 PascalParserTD parser = new PascalParserTD( … ); (2)  更灵活。因为(2)定死了parser是一个top-down Pascal 解析器(parser)。然调用工厂方法使得我们创建不同类型的解析器而不用改任何代码。

>>> 继续第二章