摘要: Hierarchical Attention Networks for Document Classification 论文的理解 在论文的摘要中,它提出了论文的两个特点。第一个就是对应文章所有具有的分层结构,这个模型采取了相应的分层结构。这个文章的分层结构怎么理解呢? 文章是具有分层结构的,单词构 阅读全文
posted @ 2019-03-15 11:36 DUDUDA 阅读(1041) 评论(0) 推荐(0) 编辑
摘要: HAN 模型 最开始看这个模型是看的这个解释: RNN+Attention(HAN) 文本分类 阅读笔记 今天做作业没的文章 知乎 https://zhuanlan.zhihu.com/p/42121435 Hierarchical Attention Networks for Document C 阅读全文
posted @ 2019-03-15 11:35 DUDUDA 阅读(1931) 评论(0) 推荐(0) 编辑
摘要: RCNN 首先从这里 "通俗易懂理解——双向LSTM" 我了解到对于RNN来说,上一层的隐层仓的输出和这一时刻输入 两者向量拼接作为输入。这一层的输入维度取决于输入神经元的个数,隐层的输入维度取决于rnn隐层的神经元的个数。 通过这个知识点的了解,我就知道为什么在 "这个教程中" lstm在初始化h 阅读全文
posted @ 2019-03-15 11:34 DUDUDA 阅读(217) 评论(0) 推荐(0) 编辑
摘要: [具体参考可以看这里(https://cloud.tencent.com/developer/article/1369425) 阅读全文
posted @ 2019-03-15 11:32 DUDUDA 阅读(102) 评论(0) 推荐(0) 编辑
摘要: 在读Convolutional Neural Networks for Sentence Classification 这个文章的时候,它在论文中提出一种模型变种就是 CNN multichannel,也就是多通道CNN。 和最普通的textcnn相比,这个东西最重要的一个区别就是输入为两个通道,一 阅读全文
posted @ 2019-03-15 11:31 DUDUDA 阅读(3751) 评论(0) 推荐(0) 编辑
摘要: 第一个模型就是TextCNN 对于textcnn一个基本介绍可以参考 "这里" textcnn 模型的pytorch实现版本 需要参考的链接 "文本分类模型pytorch实现 1" "文本分类模型pytorch实现 2" "文本分类模型多通道CNN讲解" "文本分类模型深度CNN讲解" "NLP如何 阅读全文
posted @ 2019-03-15 11:30 DUDUDA 阅读(910) 评论(0) 推荐(0) 编辑
摘要: word2vec 20190305学习得到的新的感悟 之前,我一直认为word2vec得到的词向量是输入层和隐层之间的参数,我其实对这句话的理解并不深入。 这句话本质上是没有错的,但是更加准确的说法应该是: 每个单词的one hot词向量模式乘以这个权重矩阵得到的是相对应的单词的word2vec词向 阅读全文
posted @ 2019-03-15 11:28 DUDUDA 阅读(193) 评论(0) 推荐(0) 编辑
摘要: 词向量 我们以句子分类为例,我们使用深度学习模型对句子进行分类,本质上这个模型的接受的舒服需要是数值型。因为文字是人们抽象出来的一个概念,这个 东西是不能被计算机直接理解的,我们需要人为的将这个文字转为数值,换句话讲,我们需要把这个文字嵌入到一个数学空间中去,这中嵌入方式就是词嵌入方式。 Word2 阅读全文
posted @ 2019-03-15 11:27 DUDUDA 阅读(360) 评论(0) 推荐(0) 编辑
摘要: 这篇论文主要是提出了Global attention 和 Local attention 这个论文有一个译文,不过我没细看 Effective Approaches to Attention based Neural Machine Translation 中英文对照翻译 一译的文章 知乎 http 阅读全文
posted @ 2019-03-14 21:22 DUDUDA 阅读(1445) 评论(3) 推荐(0) 编辑
摘要: 读论文 Neural Machine Translation by Jointly Learning to Align and Translate 这个论文是在NLP中第一个使用attention机制的论文。他们把attention机制用到了神经网络机器翻译(NMT)上。NMT其实就是一个典型的se 阅读全文
posted @ 2019-03-12 20:15 DUDUDA 阅读(1368) 评论(0) 推荐(0) 编辑