C# 语法分析器（三）LALR 语法分析

系列导航

1. （一）语法分析介绍
2. （二）LR(0) 语法分析
3. （三）LALR 语法分析
4. （四）二义性文法
5. （五）错误恢复
6. （六）构造语法分析器

上一章构造了 LR(0) 自动机，现在就可以来构造 LALR 语法分析表了。

这里先介绍一个新函数：$\text{FIRST}$。

$\text{FIRST}(\alpha )$ 被定义为可以从 $\alpha$ 推导得到的串的首符号集合，其中 $\alpha$ 是任意文法符号。

• 显然，如果 $a$ 是一个终结符，那么 $\text{FIRST}(a)=a$
• 如果 $A$ 是一个非终结符，且 $A\to ϵ$ 是一个产生式，那么将 $ϵ$ 加入到 $\text{FIRST}(A)$ 中。
• 如果 $A\to B_1{B}_2\cdots B_k$ 是一个产生式，那么如果对于某个 $i$，$a$ 在 $\text{FIRST}(B_i)$ 中且 $ϵ$ 在所有的 $\text{FIRST}(B_1)$、$\text{FIRST}(B_2)$、...、$\text{FIRST}(B_{i-1})$ 中，那么就把 $a$ 加入到 $\text{FIRST}(A)$ 中。

构造 $\text{FIRST}$ 函数具体实现可以参见这里。

前面提到过，LR(0) 语法分析缺少后续输入信息，在算式文法中会出现移入-归约冲突，那我们就尝试向前看一个符号，引入更多信息来解决冲突。

LR(1) 项集

LR(1) 语法分析中需要用到下一个输入的信息，因此需要对项进行精化，使其包含第二个分量。LR(1) 的项一般形如 $[A\to \alpha \cdot \beta ,a]$，其中前一部分的含义与 LR(0) 相同，是一个包含定点的产生式；后一部分则是一个终结符或输入结束标记 $\mathrm{\$}$，被称为向前看符号。

在形如 $[A\to \alpha \cdot \beta ,a]$ 且 $\beta \ne ϵ$ 的项中，向前看符号没有任何作用，但是在 $[A\to \alpha \cdot ,a]$ 这样的项中，只有在下一个输入是 $a$ 时才要求按照 $A\to \alpha$ 进行归约。这样我们就利用向前看符号限制了归约的场景，可以避免一些移入-归约冲突和归约-归约冲突。

构造 LR(1) 项集的方法与前一章中构造 LR(0) 项集的方法相同，只需要对 $\text{CLOSURE}$ 和 $\text{GOTO}$ 略作修改，添加对向前看符号的支持。

构造 LR(1) 项集 $\text{CLOSURE}$ 函数的方法为：

1. 初始项集只有 $[S^{\prime }\to \cdot S,\mathrm{\$}]$，这里很好理解，只需要在输入结束时才会归约到起始符号。
2. 如果 $[A\to \alpha \cdot B\beta ,a]$ 在 $\text{CLOSURE}(I)$ 中，且 $B\to \gamma$ 是一个产生式，那么对于 $\text{FIRST}(\beta a)$ 中的每个终结符 $b$，将 $[B\to \cdot \gamma ,b]$ 加入 $\text{CLOSURE}(I)$。不断应用这个规则，直到没有新项可以添加到 $\text{CLOSURE}(I)$ 中为止。

为什么这里 $B\to \cdot \gamma$ 的向前看符号在 $\text{FIRST}(\beta a)$ 里？假设我们即将根据项 $[A\to \alpha \cdot B\beta ,a]$ 归约，那么显然我们已经看到了输入 $\cdots \alpha B\beta a$（这里 $a$ 是向前看符号，显然要求下一个输入是 $a$ 时才能归约），那我们再向前倒推到按照 $B\to \gamma$ 归约前，就会有 $\cdots \alpha B\beta a=\cdots \alpha \gamma \beta a$，就可以看到只有 $\gamma$ 后跟 $\beta a$ 时，才有可能按照 $B\to \gamma$ 归约，即 $B\to \gamma$ 的向前看符号在 $\text{FIRST}(\beta a)$ 之中。

构造 LR(1) 项集 $\text{GOTO}$ 函数的方法也非常简单，只要将向前看符号跟着项一起跟着传递即可。

由于 LR(1) 项集族包含了向前看符号，显然会比 LR(0) 项集族包含更多状态，不太利于实际的词法分析中。如果我们尝试合并一些 LR(1) 项集，以可能产生归约-归约冲突为代价，是可以将状态数减少到与 LR(0) 项集族同样水平的。这就是 LALR 语法分析，在实际使用中往往是更优的选择。

LALR 项集

前面提到，LALR 项集是可以直接根据 LR(1) 项集合并而来的，但构造 LR(1) 项集族的时间和空间成本都比较高，更实用的是根据 LR(0) 项集族，通过一个“传播和自发生成”过程直接生成向前看符号，高效计算 LALR 项的内核。

1. 假设项集 $I$ 包含项 $[A\to \alpha \cdot \beta ,a]$，且 $\text{GOTO}(I,X)=J$。无论 $a$ 为何值，在 $\text{GOTO}(\text{CLOSURE}([A\to \alpha \cdot \beta ,a],X))$ 时得到的结果中总是包含 $[B\to \gamma \cdot \delta ,b]$。那么对于 $B\to \gamma \cdot \delta$ 来说，向前看符号 $b$ 就是自发生成的。
2. 其它条件与 1 相同，但有 $a=b$，且结果中包含 $[B\to \gamma \cdot \delta ,b]$ 的原因是项 $A\to \alpha \cdot \beta$ 有一个向前看符号 $b$，那我们就说向前看符号 $b$ 从 $I$ 的项 $A\to \alpha \cdot \beta$ 传播到了 $J$ 的项 $B\to \gamma \cdot \delta$ 中。需要注意的是，这里的传播关系与特定向前看符号无关，要么所有向前看符号都从一个项传播到另一个项，要么都不传播。

找到每个 LR(0) 项集中自发生成的向前看符号，和向前看符号的传播过程，就可以为 LR(0) 项添加上正确的向前看符号了。

首先需要选择一个不在当前文法中的符号 $\mathrm{\#}$，由于它不在文法当中，所以不可能被自发生成。如果计算后的向前看符号是否包含 $\mathrm{\#}$，说明向前看符号发生了传播，其它向前看符号就是自发生成的。接下来：

1. 为当前项集 $I$ 中的每个项 $A\to \alpha \cdot \beta$ 计算 $J=\text{CLOSURE}([A\to \alpha \cdot \beta ,\mathrm{\#}])$
2. 如果 $[B\to \gamma \cdot X\delta ,a]$ 在 $J$ 中，且 $a\ne \mathrm{\#}$，那么 $\text{GOTO}(I,X)$ 中的项 $B\to \gamma X\cdot \delta$ 的向前看符号 $a$ 是自发生成的。
3. 如果 $[B\to \gamma \cdot X\delta ,\mathrm{\#}]$ 在 $J$ 中，那么向前看符号会从 $I$ 中的项 $A\to \alpha \cdot \beta$ 传播到 $\text{GOTO}(I,X)$ 中的项 $B\to \gamma X\cdot \delta$ 上。

确定了向前看符号的自发生和传播过程，就可以不断在项集间传播向前看符号直到停止。

1. 首先，每个项集只包含其自发生成的向前看符号。
2. 不断扫描每个项集，确定当前项集 $I$ 可以将向前看符号传播到哪些项集，并将 $I$ 的向前看符号添加到被传播到的项集中。
3. 不断重复步骤 2，直到每个项集的向前看符号都不再增加。

还是继续使用算式文法作为示例：

$0.E^{\prime }\to E$
$1.E\to E+T$
$2.E\to T$
$3.T\to T\ast F$
$4.T\to F$
$5.F\to id$
$6.F\to (E)$

先来计算 $\text{CLOSURE}([E^{\prime }\to \cdot E,\mathrm{\#}])$，即：

$E^{\prime }\to \cdot E,\mathrm{\#}$
$E\to \cdot E+T,\mathrm{\#}/+$
$E\to \cdot T,\mathrm{\#}/+$
$T\to \cdot T\ast F,\mathrm{\#}/+/\ast$
$T\to \cdot F,\mathrm{\#}/+/\ast$
$F\to \cdot id,\mathrm{\#}/+/\ast$
$F\to \cdot (E),\mathrm{\#}/+/\ast$

在闭包中，6 个项都有自发生成的向前看符号。例如其中 $E\to \cdot E+T$，项中定点右边是 $E$，它生成了 $[E\to E\cdot +T,+]$，就意味着 $=$ 是 $I_1$ 中 $E->E\cdot +T$ 自发生成的向前看符号。类似的，$[F \to \cdot (E),\ \# / + / ]$\mathrm{告}\mathrm{诉}\mathrm{我}\mathrm{们}$+/$\mathrm{是}$I_4$\mathrm{中}$F \to ( \cdot E)$ 自发生成的向前看符号。

闭包中所有项都有 $\mathrm{\#}$，说明 $I_0$ 中的项 $E^{\prime }\to \cdot E$ 会将向前看符号传播到下面 7 个项中：

$I_1$ 中的 $E^{\prime }\to E\cdot$
$I_1$ 中的 $E\to E\cdot +T$
$I_2$ 中的 $E\to T\cdot$
$I_2$ 中的 $T\to T\cdot \ast F$
$I_3$ 中的 $T\to F\cdot$
$I_5$ 中的 $F\to id\cdot$
$I_4$ 中的 $F\to (\cdot E)$

下面列出所有传播过程：

自	到
$I_0{E}^{\prime }\to \cdot E$	$\begin{array}{rl}& I_1{E}^{\prime }\to E\cdot \\ & I_{1}E\to E\cdot +T\\ & I_{2}E\to T\cdot \\ & I_{2}T\to T\cdot \ast F\\ & I_{3}T\to F\cdot \\ & I_{4}F\to (\cdot E)\\ & I_{5}F\to id\cdot \end{array}$
$I_{4}F\to (\cdot E)$	$\begin{array}{rl}& I_{1}E\to E\cdot +T\\ & I_{2}E\to T\cdot \\ & I_{2}T\to T\cdot \ast F\\ & I_{3}T\to F\cdot \\ & I_{4}F\to (\cdot E)\\ & I_{5}F\to id\cdot \\ & I_{8}F\to (E\cdot )\end{array}$
$I_{6}E\to E+\cdot T$	$\begin{array}{rl}& I_{2}T\to T\cdot \ast F\\ & I_{3}T\to F\cdot \\ & I_{4}F\to (\cdot E)\\ & I_{5}F\to id\cdot \\ & I_{9}E\to E+T\cdot \end{array}$
$I_{7}T\to T\ast \cdot F$	$\begin{array}{rl}& I_{4}F\to (\cdot E)\\ & I_{5}F\to id\cdot \\ & I_{10}T\to T\ast F\cdot \end{array}$

向前看符号的计算过程如下：

项集	初始值	第一趟
$I_0$ $E^{\prime }\to \cdot E$	$\mathrm{\$}$	$\mathrm{\$}$
$I_1$ $\begin{array}{rl}& E^{\prime }\to E\cdot \\ & E\to E\cdot +T\end{array}$	$+$	$+/\mathrm{\$}$
$I_2$ $\begin{array}{rl}& E\to T\cdot \\ & T\to T\cdot \ast F\end{array}$	$+/\ast /)$	$+/\ast /)/\mathrm{\$}$
$I_3$ $T\to F\cdot$	$+/\ast /)$	$+/\ast /)/\mathrm{\$}$
$I_4$ $F\to (\cdot E)$	$+/\ast /)$	$+/\ast /)/\mathrm{\$}$
$I_5$ $F\to id\cdot$	$+/\ast /)$	$+/\ast /)/\mathrm{\$}$
$I_6$ $E\to E+\cdot T$	$+/)$	$+/)/\mathrm{\$}$
$I_7$ $T\to T\ast \cdot F$	$+/\ast$	$+/\ast /)/\mathrm{\$}$
$I_8$ $\begin{array}{rlr}& E\to E\cdot +T& F\to (E\cdot )\end{array}$	$+/\ast /)$	$+/\ast /)/\mathrm{\$}$
$I_9$ $\begin{array}{rlr}& E\to E+T\cdot & T\to T\cdot \ast F\end{array}$	$+/\ast$	$+/\ast /)/\mathrm{\$}$
$I_{10}$ $T\to T\ast F\cdot$	$+/\ast$	$+/\ast /)/\mathrm{\$}$
$I_{11}$ $F\to (E)\cdot$	$+/\ast$	$+/\ast /)/\mathrm{\$}$

这一过程的实现可以参见这里。

现在就已经基于 LR(0) 项集族得到了 LALR 项集族的内核，只要再为每个项集计算 LR(1) 的闭包，就可以当作 LR(1) 项集族来计算语法分析表了。

LALR 语法分析表

LALR 语法分析表的构造与 LR(1) 是一样的。假设已构造 LRLR 的项集族 $I_0,I_1,\cdots ,I_n$：

1. 根据 $I_i$ 构造得到状态 $i$，状态 $i$ 的 $\text{ACTION}$ 根据以下方法决定：
   1. 如果 $[A\to \alpha \cdot a\beta ,b]$ 在 $I_i$ 中，且 $\text{GOTO}(I_i,a)=I_j$，那么将 $\text{ACTION}[i,a]$ 设置为“移入 $j$”。这里的 $a$ 必须是一个终结符。
   2. 如果 $[A\to \alpha \cdot ,b]$ 在 $I_i$中且 $A\ne S^{\prime }$，那么将 $\text{ACTION}[i,b]$ 设置为“归约 $A\to \alpha$”
   3. 如果 $[S^{\prime }\to S\cdot ,\mathrm{\$}]$ 在 $I_i$ 中，那么将 $\text{ACTION}[i,\mathrm{\$}]$ 设置为“接受”。
2. 状态 $i$ 的 $\text{GOTO}$ 根据以下方法决定：设 $A$ 是一个非终结符，如果 $\text{GOTO}(I_i,A)=I_j$，那么 $\text{GOTO}[i,A]=j$。
3. 规则 1 和 2 未定义的所有条目都设置为“报错”。
4. 语法分析器的初始状态就是根据 $[S^{\prime }\to \cdot S,\mathrm{\$}]$ 所在项集构造得到的状态。

同样的，如果上述规则产生了任何冲突动作，就说明文法不是 LALR 的。

上面算式文法生成的 LALR 语法分析表如下所示：

$$\overline{)\begin{array}{cccccccccc}\mathrm{状}\mathrm{态}& id& +& \ast & (& )& \mathrm{\$}& E& T& F\\ 0& s5& & & s4& & & 1& 2& 3\\ 1& & s6& & & & acc& & & \\ 2& & r2& s7& & r2& r2& & & \\ 3& & r4& r4& & r4& r4& & & \\ 4& s5& & & s4& & & 8& 2& 3\\ 5& & r5& r5& & r5& r5& & & \\ 6& s5& & & s4& & & & 9& 3\\ 7& s5& & & s4& & & & & 10\\ 8& & s6& & & s11& & & & \\ 9& & r1& s7& & r1& r1& & & \\ 10& & r3& r3& & r3& r3& & & \\ 11& & r6& r6& & r6& r6& & & \end{array}}$$

可以看到与 LR(0) 语法分析表相比，少了一些动作，也不再存在移入-归约冲突。

现在就可以得到一个“可执行”的语法分析器了，但为了让语法分析真正可用，还缺少一个重要的组成部分：解决冲突和错误恢复。

本系列相关代码都可以在这里找到。