LSTM是RNN的一种算法， 在序列分类中比较有用。常用于语音识别，文字处理（NLP）等领域。
等同于VGG等CNN模型在在图像识别领域的位置。 本篇文章是叙述LSTM 在MNIST 手写图中的使用。
用来给初步学习RNN的一个范例，便于学习和理解LSTM .
先把工作流程图贴一下：
代码片段 ：
数据准备
def makedata(): img_rows, img_cols = 28, 28 mnist = fetch_mldata("MNIST original") # rescale the data, use the traditional train/test split X_1D, y_int = mnist.data / 255., mnist.target y = np_utils.to_categorical(y_int, num_classes=10) X = X_1D.reshape(X_1D.shape[0], img_rows, img_cols ) input_shape = (img_rows, img_cols, 1) x_train, x_test = X[:60000], X[60000:] y_train, y_test = y[:60000], y[60000:] return X, y pass
下载 MNIST数据， 进行归一化 mnist.data / 255， 把数据[7000,784 ] 转成[ 70000,28,28]
构建模型：
def buildlstm(): import numpy as np data_dim = 28 timesteps = 28 num_classes = 10 # expected input data shape: (batch_size, timesteps, data_dim) model = Sequential() model.add(LSTM(32, return_sequences=True, input_shape=(timesteps, data_dim+14))) model.add(LSTM(32, return_sequences=True)) model.add(LSTM(32)) model.add(Dense(10, activation='softmax')) model.compile(loss='categorical_crossentropy', optimizer='rmsprop', metrics=['accuracy']) print model.summary() return model pass
基础参数： data_dim， timesteps， num_classes 分别为 28，28， 10
网络层级 ： LSTM ----》LSTM ----》LSTM ----》Dense
注意点： input_shape=(timesteps, data_dim+14)) 此处 应该为 data_dim ， data_dim+14是我做第二个试验使用。
网络理解： RNN是用前一部分数据对当前数据的影响，并共同作用于最后结果。 用基础的深度神经网络（只有Dense层），是把MNIST一个图形，
提取成784个像素数据，把784个数据扔给神经网络，784个数据是同等的概念。 训练出权重来确定最终的分类值。
RNN 之于MNIST， 是把MNIST 分成 28x28 数据。可以理解为用一个激光扫描一个图片，扫成28个（行）数据， 每行为28个像素。 站在时间序列
的角度，其实图片没有序列概念。但是我们可以这样理解， 每一行于下一行是有位置关系的，不能进行顺序变化。 比如一个手写 “7”字， 如果把28行
的上下行顺序打乱， 那么7 上面的一横就可能在中间位置，也可能在下面的位置。 这样，最终的结果就不应该是 7 .
所以MNIST 的 28x28可以理解为 有时序关系的数据。
训练预测：
def runTrain(model, x_train, x_test, y_train, y_test): model.fit(x_train, y_train, batch_size= nbatch_size, epochs= nEpoches) score = model.evaluate(x_test, y_test, batch_size=nbatch_size) print 'evaluate score:', score pass
这部分应该没什么好说的
主程序：
def test(): X,y = makedata2() x_train, x_test = X[:60000], X[60000:] y_train, y_test = y[:60000], y[60000:] model = buildlstm() runTrain(model, x_train, x_test, y_train, y_test ) pass
运行结果：
结构： Layer (type) Output Shape Param # ================================================================= lstm_1 (LSTM) (None, 28, 32) 7808 _________________________________________________________________ lstm_2 (LSTM) (None, 28, 32) 8320 _________________________________________________________________ lstm_3 (LSTM) (None, 32) 8320 _________________________________________________________________ dense_1 (Dense) (None, 10) 330 ================================================================= Total params: 24,778 Trainable params: 24,778 Non-trainable params: 0 _________________________________________________________________ 结果： base lstm for mnist acc : 98.56% 结果2： 把数据最后增加 50% 的 0 ， (dim X 0.5) acc : 98.39% 结果基本上 与原数据一致
该实验证明两个结论：
1. LSTM可用于图形识别
2. 在数据中 每行28个基础像素后面 + 14 个空白（0）的元素，不影分类识别。
写在最后： 本实验的目的是为了理解RNN(LSTM), 只有理解了才能很好的使用。 本文章的目的是为记录和分享。
再说下 RNN在其它领域的应用。 比如在语音识别领域，一个音谱，识别成一个单词（词语），可以理解成一个
竖向扫描的MNIST , 一个股票的K线图，也可以理解一个竖向扫描的MNIST。 还有其它领域，可以归纳递推。
入门之后， 如何在自己的领域，再深入（构建复杂模型，优化数据的处理），提高网络模型的识别准确，那需要
见仁见智的。
代码文件链接：
有对 金融程序化 和 深度学习结合有兴趣的可以加群 ， 个人群： 杭州程序化交易群 375129936
