摘要：
一、ZEN 目前，大多数中文预训练模型基本上沿用了英文模型的做法，聚焦于小颗粒度文本单元（字）的输入。然而，与英文相比，中文没有空格等明确的词语边界。这个特点使得很多文本表达中存在的交叉歧义也被带入了以字为序列的文本编码中，使得模型更难从单字的序列中学习到大颗粒度文本蕴含的语义信息，例如双字或者多字 阅读全文
摘要：
一、BERT-wwm wwm是Whole Word Masking（对全词进行Mask），它相比于Bert的改进是用Mask标签替换一个完整的词而不是子词，中文和英文不同，英文中最小的Token就是一个单词，而中文中最小的Token却是字，词是由一个或多个字组成，且每个词之间没有明显的分隔，包含更多 阅读全文