摘要：
本文在调参记录21的基础上，增加卷积核的个数，也就是增加深度神经网络的宽度，继续尝试深度残差网络+自适应参数化ReLU激活函数在Cifar10数据集上的效果。 自适应参数化ReLU激活函数的原理如下： Keras程序： #!/usr/bin/env python3 # -*- coding: utf 阅读全文
摘要：
本文在调参记录21的基础上，将残差模块的个数，从60个增加到120个，测试深度残差网络+自适应参数化ReLU激活函数在Cifar10数据集上的效果。 自适应参数化ReLU激活函数的基本原理如下： Keras程序： #!/usr/bin/env python3 # -*- coding: utf-8 阅读全文
摘要：
本文在调参记录20的基础上，将残差模块的个数，从27个增加到60个，继续测试深度残差网络ResNet+自适应参数化ReLU激活函数在Cifar10数据集上的表现。 自适应参数化ReLU函数被放在了残差模块的第二个卷积层之后，这与Squeeze-and-Excitation Networks或者深度残 阅读全文
摘要：
在之前的调参记录18中，是将深度残差网络ResNet中的所有ReLU都替换成了自适应参数化ReLU（Adaptively Parametric ReLU，APReLU）。 由于APReLU的输入特征图与输出特征图的尺寸是完全一致的，所以APReLU可以被嵌入到神经网络的任意部分。 本文将APReLU 阅读全文
摘要：
由于调参记录18依然存在过拟合，本文将自适应参数化ReLU激活函数中最后一层的神经元个数减少为1个，继续测试深度残差网络+自适应参数化ReLU激活函数在Cifar10数据集上的效果。 同时，迭代次数从调参记录18中的5000个epoch，减少到了500个epoch，因为5000次实在是太费时间了，差 阅读全文
摘要：
本文将残差模块的数量增加到27个。其实之前也这样做过，现在的区别在于，自适应参数化ReLU激活函数中第一个全连接层中的神经元个数设置成了特征通道数量的1/16。同样是在Cifar10数据集上进行测试。 自适应参数化ReLU激活函数的基本原理如下： Keras代码如下： #!/usr/bin/env 阅读全文
摘要：
在调参记录16的基础上，增加了两个残差模块，继续测试其在Cifar10数据集上的效果。 自适应参数化ReLU激活函数的基本原理如下： Keras程序： #!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Tue Apr 14 0 阅读全文
摘要：
在调参记录15的基础上，将第一个残差模块的卷积核数量，从16个增加到32个，同时将自适应参数化ReLU激活函数中第一个全连接层的神经元个数改成原先的1/16，继续测试其在Cifar10数据集上的效果。 自适应参数化ReLU激活函数的基本原理如下： Keras程序： #!/usr/bin/env py 阅读全文
摘要：
在调参记录14里，只有2个残差模块，结果遭遇欠拟合了。这次增加一个残差模块试试。 自适应参数化ReLU激活函数的基本原理如下： Keras程序如下： #!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Tue Apr 14 04 阅读全文
摘要：
这次再尝试解决过拟合，把残差模块的数量减少到2个，自适应参数化ReLU激活函数里面第一个全连接层的权重数量，减少为之前的1/8，批量大小设置为1000（主要是为了省时间）。 自适应参数化ReLU激活函数的基本原理如下： Keras程序如下： #!/usr/bin/env python3 # -*- 阅读全文
摘要：
从以往的调参结果来看，过拟合是最主要的问题。本文在调参记录12的基础上，将层数减少，减到9个残差模块，再试一次。 自适应参数化ReLU激活函数原理如下： Keras程序如下： 1 #!/usr/bin/env python3 2 # -*- coding: utf-8 -*- 3 """ 4 Cre 阅读全文