摘要： 对比学习的一个关键思想： 如何构建对比的数据对，更细致的如何构建正样本和负样本，更好的正样本和负样本能够帮助模型更好的理解数据。 一、CIEAR 预训练模型主要解决的是token级别的特征抽取，很少做句子级别的特征抽取。BERT仅仅在词嵌入的表现优秀，但是在句子级别的建模任务表现不一定会有多优秀。本 阅读全文