摘要: 一、前言 文本分类不是生成式的任务,因此只使用Transformer的编码部分(Encoder)进行特征提取。如果不熟悉Transformer模型的原理请移步。 二、架构图 三、代码 1、自注意力模型 class TextSlfAttnNet(nn.Module): ''' 自注意力模型 ''' d 阅读全文
posted @ 2021-08-09 12:38 jasonzhangxianrong 阅读(752) 评论(0) 推荐(0) 编辑
摘要: 一、架构图 二、代码实现 class TextCNN(nn.Module): def __init__(self, config:TCNNConfig, char_size = 5000, pinyin_size=5000): super(TextCNN, self).__init__() self 阅读全文
posted @ 2021-08-09 12:31 jasonzhangxianrong 阅读(952) 评论(0) 推荐(0) 编辑
摘要: 一、架构图 二、代码 class TextBILSTM(nn.Module): def __init__(self, config:TRNNConfig, char_size = 5000, pinyin_size = 5000): super(TextBILSTM, self).__init__( 阅读全文
posted @ 2021-08-09 12:27 jasonzhangxianrong 阅读(800) 评论(0) 推荐(0) 编辑