摘要：
概述 Attention，注意力机制在提出之时就引起了众多关注，就像我们人类对某些重要信息更加看重一样，Attention可以对信息进行权重的分配，最后进行带权求和，因此Attention方法可解释性强，效果更好。本文主要讲解论文Attention-Based Bidirectional Long 阅读全文
2021年5月13日
2021年5月12日
摘要：
类的定义 CLASS torch.nn.ZeroPad2d(padding) Pads the input tensor boundaries with zero.For N-dimensional padding, use torch.nn.functional.pad(). 参数 padding 阅读全文
摘要：
概述 ACL2017年中，腾讯AI-lab提出了Deep Pyramid Convolutional Neural Networks for Text Categorization(DPCNN)，即本文要介绍的主角，我们知道以前的TextCNN的过程类似于提取N-Gram信息，而且只有一层，难以捕捉 阅读全文
2021年5月11日
摘要：
概述 就深度学习领域来说，RNN和CNN作为文本分类问题的主要模型架构，都存在各自的优点及局限性。 RNN的优势是擅长处理序列结构，能够考虑到句子的上下文信息，但**RNN属于“biased model”，后送入模型的单词会比之前的单词更重要**。在使用RNN获取整个文档的语义时，RNN的偏倚会降低 阅读全文
摘要：
概述 文本分类任务中，CNN可以用来提取句子中类似N-Gram的关键信息，适合短句子文本。尽管TextCNN能够在很多任务里面能有不错的表现，但**CNN有个最大问题是固定filter_size的视野**， 一方面无法建模更长的序列信息， 另一方面**filter_size的超参调节也很繁琐**。 阅读全文
2021年5月10日
摘要：
概述 textCNN，是Yoon Kim在2014年于论文Convolutional Naural Networks for Sentence Classification中提出的文本分类模型，开创了**用CNN编码n-gram特征的先河。我们知道fastText 中的网络结构是完全没有考虑词序信息 阅读全文
2021年5月8日
摘要：
概述 fasttext是facebook开源的一个**词向量与文本分类工具**，FastText模型 是word2vec 作者 Mikolov转战 Facebook 后于2016年7月发表在论文Bag of Tricks for Efficient Text Classification上，在学术上 阅读全文
2021年5月7日
摘要：
这里的Conv1d中的kernel_size应该是一个整数，或者只有一个元素的元组，kernel_size的参数类型设计为int或者tuple,应该是为了和其他的卷积类如nn.Conv2d等的接口保持一致。 阅读全文