摘要:
本文介绍了序列到序列模型(seq2seq)及其在翻译系统中的应用,以及注意力机制、序列解码器、神经翻译系统、基于字符级别的翻译模型等。 阅读全文
摘要:
NLP课程第7讲介绍RNNs的梯度消失问题、两种新类型RNN(LSTM和GRU),以及其他梯度消失(爆炸)的解决方案——Gradient clipping、Skip connections等。 阅读全文
摘要:
NLP课程第6讲介绍一个新的NLP任务 Language Modeling (motivate RNNs) ,介绍一个新的神经网络家族 Recurrent Neural Networks (RNNs)。 阅读全文
摘要:
本文介首先介绍了语言模型及其应用场景,进而介绍了循环神经网络(RNN)及优化后的变种LSTM(长短时记忆网络)和GRU模型。 阅读全文
摘要:
NLP课程第5讲内容覆盖:句法结构(成分与依赖),依赖语法与树库,基于转换的依存分析模型,神经网络依存分析器等。 阅读全文
摘要:
本文介绍 Dependency Grammar、Dependency Structure、Neural Dependency Parsing、依存解析、依存句法 和 语法依赖等内容。 阅读全文
摘要:
NLP课程第4讲主要内容是:单神经网络的梯度矩阵与建议、计算图与反向传播、神经网络训练实用知识技能(包括正则化、向量化、非线性表达能力、参数初始化、优化算法、学习率策略)等。 阅读全文
摘要:
NLP课程第3讲主要内容是回顾神经网络知识,并基于NLP场景讲解命名实体识别、基于窗口数据的预测、基于pytorch实现的分类器等。 阅读全文
摘要:
本文单层&多层介绍神经网络及反向传播技术,并讨论训练神经网络的实用技巧,包括神经元单元(非线性)、梯度检查、Xavier参数初始化、学习率、Adagrad优化算法等。 阅读全文
摘要:
NLP课程第2讲内容覆盖ord2vec与词向量、算法优化基础、计数与共现矩阵、GloVe模型、词向量评估、word senses等。 阅读全文