什么是Whole Word Masking

Whole Word Masking 翻译成全词Mask，是一种预训练阶段的训练样本生成策略。最原始的分词方式是基于WordPiece子词，它会把完整的一个词切分成若干个子词，在生成训练样本时，这些被分开的子词会随机被Mask。在全词Mask中，如果一个完整的词的部分WordPiece子词被mask，则同属该词的其他部分也会被mask。

这里的mask是一种策略，并非仅仅指单词被替换成[mask]标签。

说明	样例
原始文本	使用语言模型来预测下一个词的probability。
分词文本	使用 语言 模型 来 预测 下 一个 词 的 probability 。
原始Mask输入	使 用 语 言 [MASK] 型 来 [MASK] 测 下 一 个 词 的 pro [MASK] ##lity 。
全词Mask输入	使 用 语 言 [MASK] [MASK] 来 [MASK] [MASK] 下 一 个 词 的 [MASK] [MASK] [MASK] 。