面朝大海

摘要： 在深度学习中，文本匹配模型可以分为两种结构：双塔式和交互式。 双塔式模型也称孪生网络、Representation-based，就是用一个编码器分别给两个文本编码出句向量，然后把两个向量融合过一个浅层的分类器；交互是也称Interaction-based，就是把两个文本一起输入进编码器，在编码的过程 阅读全文

摘要： XLNet 详解 XLNet:运行机制及和Bert的异同比较 回顾自回归和自编码 自回归 代表：ELMO、GPT 缺点：无法同时利用上下文信息。 优点：天然匹配生成类任务 自编码 代表：BERT 优点：自然的融入双向语言模型，可以同时看到上文和下文 缺点：输入侧引入[MASK]标记，导致预训练和Fi 阅读全文