2020年1月7日
摘要：
pass 阅读全文
摘要：
pass 阅读全文
2020年1月3日
摘要：
1、ResNet深度残差网络，当堆叠更深层次的网络时，网络的性能并没有得到提升，因此我们想要网络在提升层次的时候，如20层的网路达到了最好的性能（即已经训练好），为了保证增加层次即使网络性能下降，也不会比20层的网络性能差。在前20层和输出之间增加一条shortcut路。 阅读全文
摘要：
当使用sigmoid时，如果输入的x很大或者很小时，梯度会变化的很慢，使得优化长时间的得不到的更新，导致梯度弥散。当进行归一化之后，将所有的数据划分到相同的范围，无论从哪个方向进行优化，w下降的速度对最后的loss的影响是一样的 1、特征拓展，平移后再放缩。将数据移动到0的周围 2、batch No 阅读全文
摘要：
pass 阅读全文
摘要：
CIFAR100和cifar10的数据量一样，10是将数据集分为10类，而100是将每一类再分为10类 1、Pipeline Load datasets Build Network Train Test 2、layers 13层网络 3、代码 1 import tensorflow as tf 2 阅读全文
2019年12月31日
摘要：
Pooling 下采样 upsample 上采样 ReLU 1、Pooling 平均/最大池化 2、upsample 上采样 扩大想要的倍数 3、ReLU ReLU层会将图片中负的区域给去掉，在下面的图片中，黑色为负值，白色为正值。 第二种是层的方式，新建一个类，然后通过（x）调用方法。 阅读全文
摘要：
1、全连接层网络的参数太多 通过运用局部相关性和权值共享的思想，我们成功把网络的一层参数量从‖𝐼‖ ∗ ‖𝐽‖减少到 𝑘 ∗ 𝑘(准确地说，是在单输入通道，单卷积核的条件下)。这种局部连接、共享权值的网络就是卷积神经网络。 2、局部相关性 在全连接层中，每一个输出节点都会与所有的输入节点相连 阅读全文