【518】1D CNN原理详细说明
摘要：参考：Convolutional Neural Networks for Text Classification 参考：【book】- Neural Network Methods for NLP 参考：自然语言处理中CNN模型几种常见的Max Pooling操作 原图： 简单说明： 个人理解： 关
阅读全文
posted @ 2021-01-03 23:36
随笔分类 - AI Related
Artificial Intelligence Machine Learning Deep Learning NLP
【517】keras 实现 Attention 机制（text classification）
该文被密码保护。
posted @ 2021-01-01 22:41
【516】keras 源码分析之 Dense
摘要：参考：keras源码分析之Layer 参考：keras源码分析之Dense 本文主要讲解一下 Dense 层的源码，Dense 层即最常用的全连接层，代码很简单，主要是重写了 build 与 call 方法，在我们自定义 Layer 时，也可以参考该层的实现。但是不需要这么复杂，只要写出必要的部分就
阅读全文
posted @ 2021-01-01 14:13
【515】keras 张量操作
摘要：参考：keras-team / keras - github keras 的实质就是对于张量的操作，所以对于某些函数的理解，需要自己通过张量的实操来体会。同时每一个网络层的输入和输出也都是张量的操作，可以参见下面链接进行简单张量 Tensor 的操作。 参考：【tensorflow】张量(tenso
阅读全文
posted @ 2021-01-01 10:28
【514】keras Dense 层操作三维数据
摘要：参考：Keras API reference / Layers API / Core layers / Dense layer 语法如下： tf.keras.layers.Dense( units, activation=None, use_bias=True, kernel_initializer
阅读全文
posted @ 2020-12-31 17:46
【513】keras 后端函数说明
摘要：参考：Keras后端 Keras是一个模型级的库，提供了快速构建深度学习网络的模块。Keras并不处理如张量乘法、卷积等底层操作。这些操作依赖于某种特定的、优化良好的张量操作库。Keras依赖于处理张量的库就称为“后端引擎”。Keras提供了三种后端引擎Theano/Tensorflow/CNTK，
阅读全文
posted @ 2020-12-30 17:48
【512】keras 中的核心网络层
摘要：参考：Layers » 核心网络层 1. Dense 1.1 语法 keras.layers.Dense(units, activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zer
阅读全文
posted @ 2020-12-30 15:34
【511】Keras 函数式 API
摘要：参考：开始使用 Keras 函数式 API 参考：Model 类（函数式 API）说明 单一输入输出：model = Model(inputs=inputs, outputs=output) 多输入多输出：model = Model(inputs=[a1, a2], outputs=[b1, b3,
阅读全文
posted @ 2020-12-30 14:49
【510】Attention-based Model
摘要：参考：台湾大学 李宏毅 attention based model 参考：台湾大学 李宏毅 attention based model - PDF 文档 参考：深度学习中的注意力模型（2017版） 参考：自然语言处理中的Attention Model：是什么及为什么 参考：深度学习之Attentio
阅读全文
posted @ 2020-12-28 21:49
【509】NLP实战系列（九）—— 结合 CNN 和 RNN 来处理长序列
摘要：一维 CNN 分别处理每个输入序列段，所以它对时间步的顺序不敏感（这里所说的顺序的范围要大于局部尺度，即大于卷积窗口的大小），这一点与 RNN 不同。 要想结合 CNN 的速度和轻量与 RNN 的顺序敏感性，一种方法是在 RNN 前面使用一维 CNN 作为预处理步骤。对于那些非常长，以至于 RNN
阅读全文
posted @ 2020-12-28 11:47
【510】NLP实战系列（八）—— 使用一维CNN处理 IMDB 情感分析
摘要：参考：卷积层 —— Conv1D层 1. Conv1D 层 1.1 语法 keras.layers.convolutional.Conv1D(filters, kernel_size, strides=1, padding='valid', dilation_rate=1, activation=N
阅读全文
posted @ 2020-12-28 11:43
【510】NLP实战系列（七）—— 进阶版(dropout/stacking/BiLSTM)
摘要：参考：Bidirectional 层 进阶版包含以下技术： Recurrent dropout（循环 dropout）, a specific, built-in way to use dropout to fight overfitting in recurrent layers. 使用 drop
阅读全文
posted @ 2020-12-28 10:27
【509】NLP实战系列（六）—— 通过 LSTM 来做分类
摘要：参考：LSTM层 1. 语法 keras.layers.recurrent.LSTM(units, activation='tanh', recurrent_activation='hard_sigmoid', use_bias=True, kernel_initializer='glorot_un
阅读全文
posted @ 2020-12-27 16:52
【508】NLP实战系列（五）—— 通过 SimpleRNN 来做分类
摘要：参考：SimpleRNN层 1. 语法 keras.layers.GRU(units, activation='tanh', recurrent_activation='hard_sigmoid', use_bias=True, kernel_initializer='glorot_uniform'
阅读全文
posted @ 2020-12-27 16:27
【507】NLP实战系列（四）—— 实现一个最简单的NN
摘要：完成前三节的基础准备，就可以先撸个最简单的 NN 网络。 1. 获取训练数据与测试数据 按照如下代码实现，具体说明可以参见第三部分。 from keras.datasets import imdb from keras import preprocessing # Number of words t
阅读全文
posted @ 2020-12-27 13:44
【506】NLP实战系列（三）—— keras 读取及处理 IMDB 数据库
摘要：利用 IMDB 数据进行 Sentiment Analysis。 通过 keras.datasets 里面下载，注意下载的结构，并进行预处理。 from keras.datasets import imdb from keras import preprocessing # Number of wo
阅读全文
posted @ 2020-12-27 12:33
【505】NLP实战系列（二）—— keras 中的 Embedding 层
摘要：参考：嵌入层 Embedding 参考：Python3 assert（断言） 1. Embedding 层语法 keras.layers.Embedding(input_dim, output_dim, embeddings_initializer='uniform', embeddings_reg
阅读全文
posted @ 2020-12-25 23:37
【504】NLP实战系列（一）—— one-hot encoding
摘要：参考：Text Preprocessing —— Tokenizer 参考：Preprocessing » 文本预处理 对于 Embedding 层使用的输入，就是整数矩阵，并不是真正的 one-hot 向量，需要利用 Tokenizer 来实现。 1. Tokenizer 1.1 语法 keras
阅读全文
posted @ 2020-12-24 16:27
【503】Word Embedding 词嵌入的含义
摘要：参考：Word2Vec and FastText Word Embedding with Gensim 参考：An Intuitive Understanding of Word Embeddings: From Count Vectors to Word2Vec 参考：What the heck
阅读全文
posted @ 2020-12-11 22:49
【502】gensim实现Word2Vec
摘要：参考：Word Embedding Tutorial: word2vec using Gensim [EXAMPLE] 参考：NLP入门（三）词形还原（Lemmatization） 参考：文本分类实战（一）—— word2vec预训练词向量 参考：Implementing Word2Vec with
阅读全文
posted @ 2020-12-09 23:42
