koocn

导航

2017年10月20日 #

CS224n笔记11 GRU和NMT的进一步话题

摘要: 本文转自:http://www.hankcs.com/nlp/cs224n-gru-nmt.html 从动机层面直观地充实了GRU和LSTM的理解,介绍了MT的评测方法,讨论了NMT中棘手的大词表问题和一些常见与最新的解决办法。 深入LSTM 宏观上的LSTM Cell: 将所有操作都gate起来, 阅读全文

posted @ 2017-10-20 20:59 koocn 阅读(165) 评论(0) 推荐(0) 编辑

CS224n笔记10 NMT与Attention

摘要: 本文转自:http://www.hankcs.com/nlp/cs224n-9-nmt-models-with-attention.html 90年代出现了一种类似RNN的更复杂的框架: 阅读全文

posted @ 2017-10-20 20:23 koocn 阅读(185) 评论(0) 推荐(0) 编辑

CS224n笔记9 机器翻译和高级LSTM及GRU

摘要: 本文转自:http://www.hankcs.com/nlp/cs224n-mt-lstm-gru.html 其中,带黑点的表示离散的向量表示,否则表示连续的向量空间。 3、使用深度RNN LSTM单元结构如下: 那时候的NN模型还是仅限于重新排序传统MT模型产生的结果,而最新的研究就是完全甩开了M 阅读全文

posted @ 2017-10-20 20:05 koocn 阅读(192) 评论(0) 推荐(0) 编辑

CS224n笔记8 RNN和语言模型

摘要: 本文转自:http://www.hankcs.com/nlp/cs224n-rnn-and-language-models.html 实现这个任务的朴素网络结构就是一个裸的RNN: 但是这个网络无法利用当前词语的下文辅助分类决策,解决方法是使用一些更复杂的RNN变种。 Bidirectional R 阅读全文

posted @ 2017-10-20 19:38 koocn 阅读(192) 评论(0) 推荐(0) 编辑

CS224n笔记7 TensorFlow入门

摘要: 本文转自:http://www.hankcs.com/nlp/cs224n-tensorflow.html 这节课由TA们介绍了TF里的几个基本概念(graph、variable、placeholder、session、fetch、feed),基本流程。然后现场敲代码演示如何在TF上跑线性回归和训练 阅读全文

posted @ 2017-10-20 19:20 koocn 阅读(140) 评论(0) 推荐(0) 编辑

CS224n笔记6 句法分析

摘要: 本文转自:http://www.hankcs.com/nlp/cs224n-dependency-parsing.html 句法分析还算熟悉,就跟着复习了神经网络句法分析的动机与手法,了解一下比较前沿的动向 阅读全文

posted @ 2017-10-20 19:02 koocn 阅读(179) 评论(0) 推荐(0) 编辑

CS224n笔记5 反向传播与项目指导

摘要: 本文转自:http://www.hankcs.com/nlp/cs224n-backpropagation-and-project-advice.html 最后一次数学课,其实都是些很基础的推导而已。从四个不同的层面讲解反向传播,其中电路和有向图类比还是很直观新颖的解释。 阅读全文

posted @ 2017-10-20 18:46 koocn 阅读(229) 评论(0) 推荐(0) 编辑

CS224n笔记4 Word Window分类与神经网络

摘要: 本文转自:http://www.hankcs.com/nlp/cs224n-word-window-classification-and-neural-networks.html 这节课介绍了根据上下文预测单词分类的问题,与常见神经网络课程套路不同,以间隔最大化为目标函数,推导了对权值矩阵和词向量的 阅读全文

posted @ 2017-10-20 14:09 koocn 阅读(195) 评论(0) 推荐(0) 编辑

CS224n笔记3 高级词向量表示

摘要: 本文转自:http://www.hankcs.com/nlp/cs224n-advanced-word-vector-representations.html 这节课从传统的基于计数的全局方法出发,过渡到结合两者优势的GloVe,并介绍了词向量的调参与评测方法。 复习:word2vec的主要思路 遍 阅读全文

posted @ 2017-10-20 13:29 koocn 阅读(203) 评论(0) 推荐(0) 编辑

2017年10月19日 #

CS224n笔记2 词的向量表示:word2vec

摘要: 本文转自:http://www.hankcs.com/nlp/word-vector-representations-word2vec.html 如何表示一个词语的意思 先来看看如何定义“意思”的意思,英文中meaning代表人或文字想要表达的idea。这是个递归的定义,估计查询idea词典会用me 阅读全文

posted @ 2017-10-19 19:09 koocn 阅读(413) 评论(0) 推荐(0) 编辑