NLP 装桶（Bucketing）和填充（padding）

翻译模型也是用了装桶（bucketing）和填充（padding），这两种方法是用于高效地处理不同长度句子的情况。我们首先来弄清楚是怎么一回事。当我们从英语翻译成法语的时候，假设我们的输入英语的长度为L1，输出法语的长度为L2。因为英语句子是作为encoder_inputs而传入的，法语句子作为decoder_inputs而传入（最开始加了一个GO前缀），原则上对于每一个长度为（L1，L2+1）的语句对，都要创建一个seq2seq的模型。这将导致一个巨大的计算图，而这个图由许多十分相似的子图构成。还有，因为我们只能使用一个特殊的PAD符号来填充每一个句子。对于已经填充的长度，我们只需要一个seq2seq模型。但是对于较短的句子的话，由于我们需要编码和加码很多没有意义的PAD字符，我们的模型将会变得十分低效。

作为折衷，我们使用一定数量的桶（buckets）并且把每一个句子桶填充至桶的长度

buckets = [(5, 10), (10, 15), (20, 25), (40, 50)]

 

这意味着如果我们的英文句子有3个字符，对应法语的输出有6个字符，那么我们将会把这个句子放入第一个桶，并且将输入和输出分别填充到5和10个字符。如果输入输出的长度分别为8和18，不会用（10，15），而是使用（20，25）的桶，同样滴，输入和输出将会分别填充到20和25个字符。