自上而下的语法分析

自上而下的语法分析

自上而下 指 从文法的开始符号开始，逐步向下构建出整棵语法树。这样的分析过程会遇到以下问题：

• 文法左递归：导致分析过程无限循环

• 回溯问题：在进入错误分支后，需要恢复进入分支前的现场，导致程序设计复杂

构造不会陷入死循环的、不需要回溯的语法分析算法

1. 消除左递归

文法可以消除左递归的条件

• 不含以 $\epsilon$ 为右部的产生式

• 不含回路，即不存在 $P⟹ P$

1.1 直接左递归

$P\rightarrow P\alpha|\beta$

该产生式表示 以一个beta开头，以若干个alpha结尾的串 。即 $\beta\alpha^\*$ 。

需要设计出不含左递归的文法：左递归变右递归。

$P\rightarrow \beta P'$

$P'\rightarrow \alpha P'|\epsilon$

容易知道，这两种文法是等价的。

CAUTION 左递归的实质是语法树不断增长而输入串的匹配没有任何推进，左递归改为右递归后，虽然语法树还可能一直增长，但是输入串的匹配指针在一直前进。

推广 更复杂产生式的直接左递归消除

含有左递归的文法 $P\rightarrow P\alpha_1|P\alpha_2|...|P\alpha_m|\beta_1|\beta_2|...|\beta_n$

如此改为右递归：

$P\rightarrow \beta_1P'|\beta_2P'|...|\beta_nP'$

$P'\rightarrow \alpha_1P'|\alpha_2P'|...|\alpha_mP'|\epsilon$

1.2 间接左递归

$S\rightarrow Qc|c$

$Q\rightarrow Rb|b$

$R\rightarrow Sa|a$

若从 $S$ 开始推导，会出现 $S\rightarrow Qc\rightarrow Rbc\rightarrow Sabc$ ，出现循环，为间接左递归。

为了消除这种依赖关系，进行如下操作：

$Q\rightarrow Rb|b \rightarrow Sab|ab|b$

$S\rightarrow Sabc|abc|bc|c$

这样出现了直接左递归，可用之前提到的方法进行消除，即：

$S\rightarrow abcS'|bcS'|cS'$

$S'\rightarrow abcS'|\epsilon$

由于文法的轮换对称性，对其他非终结符进行操作得到的文法是等价的。

1.3 消除左递归的通用算法

sort(G) # 把文法G的所有非终结符按照一种顺序排列 P_1, P_2, ..., P_N
for i in range(1, N + 1): # 把P_i的规则修改为 P_i -> a...|P_{i+1}...|P_{i+2}...|...
                          # 即只能包含P_i之后的非终结符

    for j in range(1, i):
        把形如 P_i -> P_j\gamma 的产生式中的P_j替换为它的定义式（消除P_j）
    消除关于P_i的直接左递归
simplify(G) # 化简文法G，删除无法到达的文法

由于在外层循环执行到 $i$ 时， $P_j$ 均已经只包含 $P_j$ 之前的非终结符，所以该算法可以正确执行，消除 $P_i$ 的左递归。

2. 消除回溯

为了消除回溯，必须保证选派的候选项可以 $100\%$ 成功匹配输入串，这就要求我们合理构造 $First$ 集合和 $Follow$ 集合。

2.1 First集合

假设当前需要匹配的输入串的 token 为 $a$ ，那么文法的规则中只能有至多一个以 $a$ 开头，或者可以推导出以 $a$ 开头的串，由此定义候选项的 $First$ 集合：

$First(\alpha)=\{\alpha ⟹ a..., a\in T \}$

特别地，若 $alpha$ 可以推导出 $\epsilon$ ，则 $\epsilon\in First(\alpha)$ 。

在满足 文法的规则中只能有至多一个以 $a$ 开头 这一条件的情况下，若 $a\in First(\alpha_i)$ ，则一定会选派 $\alpha_i$ 去完成对 $a$ 的匹配。

但是并非所有的文法都满足上述条件，即 $First(\alpha_i)\cap First(\alpha_j)=\emptyset$ ，有时可以通过提取左公共因子的方式使其满足这一条件。

2.2 Follow集合

上述的 $First$ 集合没有考虑使用 $\epsilon$ 进行匹配的情况。

若 $a$ 可以被 $\epsilon$ 匹配，则 $a$ 一定可以紧跟在当前正在匹配的非终结符 $A$ 的后面出现，即存在一条规则，满足 $P\rightarrow ...Aa...$ 。由此定义非终结符的 $Follow$ 集合：

$Follow(A)=\{S ⟹ ...Aa...,a\in T\}$

特别地，若 $S$ 可推导出 $...A$ ，则 $\epsilon\in Follow(A)$ 。

2.3 LL(1)文法

• 文法不含左递归

• 文法中的每个非终结符的产生式的所有候选项的 $First$ 集合两两不相交

• 对于文法中的每个非终结符，若它的某个候选项的 $First$ 集合中存在 $\epsilon$ ，则所有候选项的 $First$ 集合不能和该非终结符的 $Follow$ 集合相交

上述第三条规则保证了不会出现 $a$ 可以同时匹配某个非空候选项和 $\epsilon$ 的情况。

LL(1)文法分析过程

1. 若 $a\in First(\alpha_i)$ ，则指派 $\alpha_i$ 完成匹配

2. 若 $a$ 不属于任何一个候选项的 $First$ 集合，则：

若某个候选项的 $First$ 集合中有 $\epsilon$ ，且 $a\in Follow(A)$ ，则用 $\epsilon$ 匹配。

否则， $a$ 的出现为语法错误。

2.4 First集合的构造

对于每个 $X\in V_T\cup V_N$ ，连续使用下面的规则，直到每个候选项的 $First$ 集合均不再发生变化：

1. 若 $X\in V_T$ ，则 $First(X)=X$

2. 若 $X\in V_N$ ，且有产生式 $X\rightarrow a$ ，则将 $a$ 加入 $First(X)$ 中。特别地，若 $X \rightarrow \epsilon$ 也是一条产生式，则也将 $\epsilon$ 加入 $First(X)$ 中。

3. 若 $X\rightarrow Y...$ 是一条产生式，且 $Y\in V_N$ ，则将 $First(Y)$ 中所有非 $\epsilon$ 元素加入 $First(X)$ 中。

4. 若 $X\rightarrow Y_1Y_2...Y_{i-1}Y_i...Y_k$ 是一个产生式，$Y_1, Y_2, ..., Y_{i-1}\in V_N$ ，且 $Y_1$ 到 $Y_{i-1}$ 的 $First$ 集合中均含有 $\epsilon$ ，则将 $First(Y_i)$ 中的非 $\epsilon$ 元素加入 $First(X)$ 。特别地，若 $Y_1$ 到 $Y_k$ 的 $First$ 集合中均含有 $\epsilon$ ，则将 $\epsilon$ 加入 $First(X)$ 。

虽然一个产生式 $X\rightarrow Y_1Y_2...Y_k$ 的前几个非终结符可能含有 $\epsilon$ ，但是这些 $\epsilon$ 的后面还可能会有别的串，所以在第 $4$ 步中，只有所有非终结符均含有 $\epsilon$ 时，才将 $\epsilon$ 加入 $First(X)$ 。

构造任意符号串的First集合

对文法 $G$ 的任何符号串 $\alpha=X_1X_2...X_n$ 构造 $First(\alpha)$ 的算法如下：

1. 置 $First(\alpha) = First(X_1)$

2. 若对于任意 $1\leq j\leq i-1$ ，均有 $\epsilon\in First(X_j)$ ，则置 $First(\alpha)=First(\alpha)\cup (First(X_i)$ \ $\{\epsilon\})$ 。特别地，若 $X_1$ 到 $X_n$ 的 $First$ 集合均含有 $\epsilon$ ，则置 $First(\alpha)=First(\alpha)\cup\{\epsilon\}$ 。

2.5 Follow 集合的构造

假设空串用 # 表示，对于文法 $G$ 的每个非终结符 $A$ 构造 $Follow$ 集合的办法是，连续使用下面的规则，直到所有非终结符的 $Follow$ 集合都不再发生变化：

1. 对于文法的开始符号 $S$ ，将 # 加入 $Follow(S)$

2. 若 $A\rightarrow \alpha B\beta$ 是一个产生式，则将 $First(\beta)$ \ $\{\epsilon\}$ 中的元素加入 $Follow(B)$ 。

3. 若 $A\rightarrow \alpha B$ 是一个产生式，则将 $Follow(A)$ 中的元素加入 $Follow(B)$ 中。

4. 若 $A\rightarrow \alpha B\beta$ 是一个产生式，且 $\beta ⟹ \epsilon$ ，则将 $Follow(A)$ 中的元素加入 $Follow(B)$ 中。

3 递归下降分析器

按照上述方法进行分析即可，程序实现较为简单。