摘要：
RNN 最典型的应用就是利用历史数据预测下一时刻将发生什么，即根据以前见过的历史规律做预测 例子： 计算机不认识字母，只能处理数字。所以需要我们对字母进行编码。这里假设使用独热编码（实际中可使用其他编码方式），编码结果如图1.2.7所示。 词向量空间： 假设使用一层 RNN 网络，记忆体的个数选取 阅读全文
摘要：
1.卷积神经网络与循环神经网络简单对比 CNN: 借助卷积核（kernel）提取特征后，送入后续网络(如全连接网络 Dense)进行分类、目标检测等操作。 CNN 借助卷积核从空间维度提取信息，卷积核参数空间共享。 RNN: 借助循环核（cell）提取特征后， 送入后续网络(如全连接网络 Dense 阅读全文
摘要：
1.池化 池化的作用就是减少特征数量（降维）。最大值池化可提取图片纹理，均值池化可保留背景特征。 池化层可以非常有效地缩小矩阵的尺寸，从而减少最后全连接层中的参数。使用池化层既可以加快计算速度也有防止过拟合问题的作用 2.舍弃（dropout） 在神经网络的训练过程中， 将一部分神经元按照一定概率从 阅读全文
摘要：
1.什么是标准化？ 标准化：使数据符合 0 均值，1 为标准差的分布。 神经网络对0附近的数据更敏感，但是随着网络层数的增加，特征数据会出现偏离0均值的情况，标准化能够使数据符合0均值，1为标准差的分布，把偏移的特征数据重新拉回到0附近 Batch Normalization(批标准化)：对一小批数 阅读全文
摘要：
1.输出特征尺寸计算 在了解神经网络中卷积计算的整个过程后，就可以对输出特征图的尺寸进行计算，如图 5-8 所示，5×5 的图像经过 3×3 大小的卷积核做卷积计算后输出特征尺寸为 3×3。 2.全零填充（padding） 为了保持输出图像尺寸与输入图像一致，经常会在输入图像周围进行全零填充，如图 阅读全文
摘要：
1.什么是感受野？ 卷积神经网络各输出层每个像素点在原始图像上的映射区域大小 下图是感受野示意图 如果对这个5x5的原始输入图片，用黄色的3x3卷积核作用，会输出一个3x3的输出特征图，这个输出特征图上的每个像素点映射到原始的图片是3x3的区域，所以它（输出特征图）的感受野是3，如果再对这个3x3的 阅读全文