《动手学深度学习 Pytorch版》 9.8 束搜索

本节将介绍几大：

贪心搜索（greedy search）策略
穷举搜索（exhaustive search）
束搜索（beam search）

9.8.1 贪心搜索

贪心搜索已用于上一节的序列预测。对于输出序列的每一时间步 $t'$ ，都从 $\boldsymbol{Y}$ 中找到具有最高条件概率的词元，即：

y_{t^{'}} = \underset{y \in Y}{\arg max} P (y | y_{1}, \dots, y_{t - 1}, c)

$y_{t'}=\mathop{\arg\max}\limits_{y\in\boldsymbol{Y}}{P(y|y_1,\dots,y_{t-1},\boldsymbol{c})}$

一旦输出序列包含了“<eos>”或者达到其最大长度 $T'$ ，则输出完成。

问题：

最优序列应该是最大化值的输出序列，而贪心搜索无法保证得到最优序列。
每次选择都会影响后续的所有结果。

9.8.2 穷举搜索

穷举搜索（exhaustive search）穷举地列举所有可能的输出序列及其条件概率，然后计算输出条件概率最高的一个。其计算量 $O(\boldsymbol{Y}^{T'})$ 可能高的惊人。

9.8.3 束搜索

穷举搜索有精度优势，贪心搜索有计算成本优势，而束搜索则介于这两个极端之间。

束搜索（beam search）是贪心搜索的一个改进版本。它有一个超参数，名为束宽（beam size） $k$ 。在时间步 1，我们选择具有最高条件概率的 $k$ 个词元。这 $k$ 个词元将分别是 $k$ 个候选输出序列的第一个词元。在随后的每个时间步，基于上一时间步的 $k$ 个候选输出序列，继续从 $k$ 个可能的选择中挑出具有最高条件概率的 $k$ 个候选输出序列。