摘要： 之前在几篇博客中说到了权重共享，但都觉得不够全面，这里做个专题，以后有新的理解都在此更新。 1. 减少运算只是锦上添花 之前说到权重共享可以减少运算，是的，但这样说好像是可有可无，只是运算量大小的问题，其实不是可有可无的。 2. 权重共享的本质是特征提取 之前说到权重就是模板，我们按照一定的模板来与 阅读全文

摘要： LSTM（Long Short-Term Memory）是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。 LSTM能够很大程度上缓解长期依赖的问题。 LSTM的形象描述 RNN是傻子式的记忆，把所有的事情都记下来，这很容易记忆混乱。 LSTM不同的地 阅读全文

摘要： 首先明确一下，本文需要对RNN有一定的了解，而且本文只针对标准的网络结构，旨在彻底搞清楚反向传播和BPTT。 反向传播形象描述 什么是反向传播？传播的是什么？传播的是误差，根据误差进行调整。 举个例子：你去买苹果，你说，老板，来20块钱苹果（目标，真实值），老板开始往袋子里装苹果，感觉差不多了（预测 阅读全文