摘要： 玻尔兹曼机 如果发生串扰或陷入局部最优解，Hopfield神经网络就不能正确地辨别模式，如下图。 而玻尔兹曼机（Boltzmann Machine）则可以通过让每个单元按照一定的概率分布发生状态变化，来避免陷入局部最优解。 玻尔兹曼机保持了Hopfield神经网络的假设： 权重对称 自身无连接 二值 阅读全文

摘要： Outline 1 GRU概述 2 前向传播 3 训练过程 1 GRU概述 GRU是LSTM网络的一种效果很好的变体，它较LSTM网络的结构更加简单，而且效果也很好，因此也是当前非常流形的一种网络。GRU既然是LSTM的变体，因此也是可以解决RNN网络中的长依赖问题。 在LSTM中引入了三个门函数： 阅读全文

摘要： 作用： 1. 实现跨通道的交互和信息整合 2. 进行卷积核通道数的降维和升维 （作用1） 图：多通道+多卷积核做卷积示意图。 如图，输入图像layer m-1有4个通道，同时有2个卷积核w1和w2。 对于卷积核w1，先在输入图像4个通道分别作卷积，再将4个通道结果加起来得到w1的卷积输出；卷积核w2 阅读全文