摘要:参考:Keras API reference / Layers API / Core layers / Dense layer 语法如下: tf.keras.layers.Dense( units, activation=None, use_bias=True, kernel_initializer
阅读全文
摘要:参考:Keras后端 Keras是一个模型级的库,提供了快速构建深度学习网络的模块。Keras并不处理如张量乘法、卷积等底层操作。这些操作依赖于某种特定的、优化良好的张量操作库。Keras依赖于处理张量的库就称为“后端引擎”。Keras提供了三种后端引擎Theano/Tensorflow/CNTK,
阅读全文
摘要:参考:Layers » 核心网络层 1. Dense 1.1 语法 keras.layers.Dense(units, activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zer
阅读全文
摘要:参考:开始使用 Keras 函数式 API 参考:Model 类(函数式 API)说明 单一输入输出:model = Model(inputs=inputs, outputs=output) 多输入多输出:model = Model(inputs=[a1, a2], outputs=[b1, b3,
阅读全文
摘要:参考:台湾大学 李宏毅 attention based model 参考:台湾大学 李宏毅 attention based model - PDF 文档 参考:深度学习中的注意力模型(2017版) 参考:自然语言处理中的Attention Model:是什么及为什么 参考:深度学习之Attentio
阅读全文
摘要:一维 CNN 分别处理每个输入序列段,所以它对时间步的顺序不敏感(这里所说的顺序的范围要大于局部尺度,即大于卷积窗口的大小),这一点与 RNN 不同。 要想结合 CNN 的速度和轻量与 RNN 的顺序敏感性,一种方法是在 RNN 前面使用一维 CNN 作为预处理步骤。对于那些非常长,以至于 RNN
阅读全文
摘要:参考:卷积层 —— Conv1D层 1. Conv1D 层 1.1 语法 keras.layers.convolutional.Conv1D(filters, kernel_size, strides=1, padding='valid', dilation_rate=1, activation=N
阅读全文
摘要:参考:Bidirectional 层 进阶版包含以下技术: Recurrent dropout(循环 dropout), a specific, built-in way to use dropout to fight overfitting in recurrent layers. 使用 drop
阅读全文
摘要:参考:LSTM层 1. 语法 keras.layers.recurrent.LSTM(units, activation='tanh', recurrent_activation='hard_sigmoid', use_bias=True, kernel_initializer='glorot_un
阅读全文
摘要:参考:SimpleRNN层 1. 语法 keras.layers.GRU(units, activation='tanh', recurrent_activation='hard_sigmoid', use_bias=True, kernel_initializer='glorot_uniform'
阅读全文
摘要:完成前三节的基础准备,就可以先撸个最简单的 NN 网络。 1. 获取训练数据与测试数据 按照如下代码实现,具体说明可以参见第三部分。 from keras.datasets import imdb from keras import preprocessing # Number of words t
阅读全文
摘要:利用 IMDB 数据进行 Sentiment Analysis。 通过 keras.datasets 里面下载,注意下载的结构,并进行预处理。 from keras.datasets import imdb from keras import preprocessing # Number of wo
阅读全文
摘要:参考:嵌入层 Embedding 参考:Python3 assert(断言) 1. Embedding 层语法 keras.layers.Embedding(input_dim, output_dim, embeddings_initializer='uniform', embeddings_reg
阅读全文
摘要:参考:Text Preprocessing —— Tokenizer 参考:Preprocessing » 文本预处理 对于 Embedding 层使用的输入,就是整数矩阵,并不是真正的 one-hot 向量,需要利用 Tokenizer 来实现。 1. Tokenizer 1.1 语法 keras
阅读全文
摘要:参考:Word2Vec and FastText Word Embedding with Gensim 参考:An Intuitive Understanding of Word Embeddings: From Count Vectors to Word2Vec 参考:What the heck
阅读全文
摘要:参考:Word Embedding Tutorial: word2vec using Gensim [EXAMPLE] 参考:NLP入门(三)词形还原(Lemmatization) 参考:文本分类实战(一)—— word2vec预训练词向量 参考:Implementing Word2Vec with
阅读全文
摘要:参考:pytorch教程之nn.Module类详解——使用Module类来自定义模型 pytorch中对于一般的序列模型,直接使用torch.nn.Sequential类及可以实现,这点类似于keras,但是更多的时候面对复杂的模型,比如:多输入多输出、多分支模型、跨层连接模型、带有自定义层的模型等
阅读全文