摘要： 简述 在文本语义相似度等句子对的回归任务上，BERT , RoBERTa 拿到sota。 但是，它要求两个句子都被输入到网络中，从而导致巨大开销：从10000个句子集合中找到最相似的sentence-pair需要进行大约5000万个推理计算（约65小时）。 BERT不适合语义相似度搜索，也不适合非监 阅读全文

摘要： 1. 自然地使用[CLS] 2. cosine similairity 3. 长短文本的区别 4. sentence/word embedding 5. siamese network 方式 1. 自然地使用[CLS] BERT可以很好的解决sentence-level的建模问题，它包含叫做Next 阅读全文