yangyang12138

摘要： 1.概述 erine是一种自然语言处理的预训练模型，对自然语言推理，命名实体识别，文本分类有很好的效果。 2.模型结构 3.模型结构 1).Transformer Encoder 该模型使用多层Transformer作为基本编码器，与其他预训练类似GPT、BERT等模型。Transformer可以捕 阅读全文

摘要： 1.概述 利用语言模型来获得一个上下文相关的预训练表示，称为ELMo。它使用的是一个双向的LSTM语言模型，由一个前向和一个后向语言模型构成，目标函数就是取这两个方向语言模型的最大似然。 2.模型结构 3.双向语言模型 前向概率计算： 后向概率计算： t代表token，即词 最后将前向和后向合并 最 阅读全文