随笔分类 - 4_循环神经网络
摘要：Keras的TimeDistributed层作用 一、总结 一句话总结： 时间维度上全连接：Keras的TimeDistributed层主要用途是在时间维度上进行全连接. 时间维度上切片全连接：一次性输入16×7×7×512,进行全连接,相当于16个时间切片,对每个7×7×512的切片分别进行全连接
阅读全文
摘要：Tensorflow2（预课程） 11.3.2、（a）循环神经网络实现股票预测（GRU） 一、总结 一句话总结： 这个应用不看准确率（这里不是分类问题），看loss就好了，loss低的话，预测自然准 # 构建容器 model = tf.keras.Sequential() # 输入层 model.a
阅读全文
摘要：Tensorflow2（预课程） 11.3、循环神经网络实现股票预测（GRU） 一、总结 一句话总结： 将SimpleRNN层换成GRU层即可，其它一样，非常简单 # 测试集变array并reshape为符合RNN输入要求：[送入样本数， 循环核时间展开步数， 每个时间步输入特征个数] x_test
阅读全文
摘要：Tensorflow2（预课程） 11.2、循环神经网络实现股票预测（LSTM） 一、总结 一句话总结： 将SimpleRNN层换成LSTM层即可，非常简单 # 测试集变array并reshape为符合RNN输入要求：[送入样本数， 循环核时间展开步数， 每个时间步输入特征个数] x_test, y
阅读全文
摘要：Word embedding 一、总结 一句话总结： a)、单词对应数字，数字对应编码的向量 b)、这里是用二维来表示，实际情况语言表达能力比较丰富，可以用100维、1000维来表示 c)、keras中，直接layer.Embedding(10,4)表示调用Embedding来编码，10表示10个单
阅读全文
摘要：自然语言处理词向量模型-word2vec 一、总结 一句话总结： “词向量模型是考虑词语位置关系的一种模型。通过大量语料的训练，将每一个词语映射到高维度（几千、几万维以上）的向量当中，通过求余弦的方式，可以判断两个词语之间的关系。” 这个高维的向量就是词向量，现在常用word2vec构成词向量模型。
阅读全文
摘要：词袋模型 一、总结 一句话总结： Bag of words model假定对于一个文本，忽略其词序和语法，句法，将其仅仅看做是一个词集合，或者说是词的一个组合，文本中每个词的出现都是独立的，不依赖于其他词 是否出现 二、词袋模型 转自或参考： 最初的Bag of words，也叫做“词袋”，在信息检
阅读全文
摘要：深度学习中Embedding的理解 一、总结 一句话总结： Embedding就是把高维的one-hot进行降维的过程。 1、Embedding的概念引入？ 1)、一维列表也不行，二维稀疏矩阵也不行，怎么办呢？这里就引入了Embedding的概念，由密集向量表示，实现降维！ 2)、“并不是每个单词都
阅读全文
摘要：Tensorflow2（预课程） 9.2、循环神经网络实现输入一个字母，预测下一个字母（embedding） 一、总结 一句话总结： 加上Embedding层即可，数据的输入维度变一下 print(x_train) print(y_train) [[0] [3] [2] [1] [4]] [1 4
阅读全文
摘要：SimpleRNNCell详解 一、总结 一句话总结： units: 正整数，输出空间的维度,即隐藏层神经元数量. recurrent_dropout: 隐藏层之间的dropout. class SimpleRNNCell(Layer): """Cell class for SimpleRNN. #
阅读全文
摘要：循环神经网络总结 一、总结 一句话总结： yt=softmax(htwhy+by)
$$h _ { t } = \tanh ( x _ { t } w _ { x h } + h _ { t -
阅读全文
摘要：200813_tensorflow2 6、LSTM的用途（杂） 一、总结 一句话总结： 长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的
阅读全文
摘要：深度学习之循环神经网络（RNN） 一、总结 一句话总结： (A)、【短期记忆】：循环神经网络（Recurrent Neural Network，RNN）是一类具有短期记忆能力的神经网络，适合用于处理视频、语音、文本等与时序相关的问题。 (B)、【接收自身信息】：在循环神经网络中，神经元不但可以接收其
阅读全文
摘要：循环神经网络（Recurrent Neural Networks）（第一部分） 一、总结 一句话总结： ①、RNN是一种可以预测未来（在某种程度上）的神经网络，可以用来分析时间序列数据（比如分析股价，预测买入点和卖出点）。 ②、在自动驾驶中，可以预测路线来避免事故。更一般的，它可以任意序列长度作为输
阅读全文
