摘要：
1.梯度消失 根据链式法则，如果每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话，那么即使这个结果是0.99，在经过足够多层传播之后，误差对输入层的偏导会趋于0。 这种情况会导致靠近输入层的隐含层神经元调整极小。 2.梯度膨胀 根据链式法则，如果每一层神经元对上一层的输出的偏导乘上权重结果都 阅读全文
摘要：
1.高方差和高偏差 偏差： 描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据集。 方差： 描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，预测结果数据的分布越散。 理解偏差和方差（bias/variance）的两个关键数据是训练集误差（train se 阅读全文
摘要：
一、conv1d 在NLP领域，甚至图像处理的时候，我们可能会用到一维卷积（conv1d）。所谓的一维卷积可以看作是二维卷积（conv2d）的简化，二维卷积是将一个特征图在width和height两个方向上进行滑窗操作，对应位置进行相乘并求和；而一维卷积则是只在width或者说height方向上进行 阅读全文
摘要：
1.测试tensorboard # tensorflow2.1.0+win10 import tensorflow.compat.v1 as tf tf.disable_v2_behavior() import numpy as np with tf.name_scope(name='filed') 阅读全文
摘要：
阅读全文