摘要： 一张图解释CNN如何进行文本分类。 照这个思路，cnn可以解决很多时序问题，与rnn相比，只是不能解决一对多、多对多的问题。 中文大概长这样 参考资料： http://www.wildml.com/2015/11/understanding-convolutional-neural-networks 阅读全文

摘要： 针对 Deep Q Learning 可能无法收敛的问题，这里提出了一种 fix target 的方法，就是冻结现实神经网络，延时更新参数。 这个方法的初衷是这样的： 1. 之前我们每个（批）记忆都会更新参数，这是一种实时更新神经网络参数的方法，这个方法有个问题，就是每次都更新，由于样本都是随机的， 阅读全文

摘要： 之前讲到Sarsa和Q Learning都不太适合解决大规模问题，为什么呢？ 因为传统的强化学习都有一张Q表，这张Q表记录了每个状态下，每个动作的q值，但是现实问题往往极其复杂，其状态非常多，甚至是连续的， 比如足球场上足球的位置，此时，内存将无力承受这张Q表。 价值函数近似 既然Q表太大，那么怎么 阅读全文

摘要： 为什么深层网络比浅层网络更优秀？答案或许很多，我介绍几点。 减少训练参数 以卷积为例，5x5的卷积核把25个像素变成1个，需要25个权重， 而两个3x3的卷积核，也可以把25个像素变成1个，只需要18个权重 5x5 ==> 3x3 ==> 1 提高学习效率 之前讲到权重就是过滤器，学习就是生成过滤器 阅读全文

摘要： 理解这个代码之前最好先理解LSTM手写数字识别。 类比图像解释自然语言处理 1. 自然语言的输入需要先把句子截成固定长度的片段，这就是一个序列，也就是一张图片，片段中的每一个字或者词就是图片的一行，lstm每个时序输入这个字或者词。 2. 不同之处在于，自然语言每个时序都有x和y，y就是x后的那个字 阅读全文

摘要： 共享变量 tf.Variable 创建唯一变量：当系统检测到命名冲突会自动处理，保证了变量的唯一性，也就是不可复用， ######################### Variable 无法共享 ######################### v1 = tf.Variable(tf.rando 阅读全文

摘要： dropout 是神经网络用来防止过拟合的一种方法，很简单，但是很实用。 基本思想是以一定概率放弃被激活的神经元，使得模型更健壮，相当于放弃一些特征，这使得模型不过分依赖于某些特征，即使这些特征是真实的，当然也可能是假的。 大致步骤 1. 在神经元 H1 被激活后，随机生成一组数据 U1 和一个0- 阅读全文

摘要： 手写数字识别经典案例，目标是： 1. 掌握tf编写RNN的方法 2. 剖析RNN网络结构 tensorflow编程 如果你非常熟悉rnn，代码整体上还是比较好理解的，但是里面涉及许多次的shape设置，比较让人头大，特别是后期写各种rnn时，很容易迷糊，所以每个模型都要理解透彻。 以上代码涉及到sh 阅读全文

摘要： 本文从tensorflow的代码层面理解LSTM。 看本文之前，需要先看我的这两篇博客 https://www.cnblogs.com/yanshw/p/10495745.html 谈到网络结构 https://www.cnblogs.com/yanshw/p/10515436.html 谈到多隐层 阅读全文

摘要： dropout 是 regularization 方法，在rnn中使用方法不同于cnn 对于rnn的部分不进行dropout，也就是说从t-1时候的状态传递到t时刻进行计算时，这个中间不进行memory的dropout；仅在同一个t时刻中，多层cell之间传递信息的时候进行dropout。 因此，我 阅读全文