05 2020 档案
摘要：本文在调参记录23的基础上，增加卷积核的个数，最少是64个，最多是256个，继续测试深度残差网络+自适应参数化ReLU激活函数在cifar10数据集上的效果。 自适应参数化ReLU激活函数被放在了残差模块的第二个卷积层之后，它的基本原理如下： Keras程序： #!/usr/bin/env pyth
阅读全文
摘要：本文在调参记录21的基础上，增加卷积核的个数，也就是增加深度神经网络的宽度，继续尝试深度残差网络+自适应参数化ReLU激活函数在Cifar10数据集上的效果。 自适应参数化ReLU激活函数的原理如下： Keras程序： #!/usr/bin/env python3 # -*- coding: utf
阅读全文
摘要：本文在调参记录21的基础上，将残差模块的个数，从60个增加到120个，测试深度残差网络+自适应参数化ReLU激活函数在Cifar10数据集上的效果。 自适应参数化ReLU激活函数的基本原理如下： Keras程序： #!/usr/bin/env python3 # -*- coding: utf-8
阅读全文
摘要：本文在调参记录20的基础上，将残差模块的个数，从27个增加到60个，继续测试深度残差网络ResNet+自适应参数化ReLU激活函数在Cifar10数据集上的表现。 自适应参数化ReLU函数被放在了残差模块的第二个卷积层之后，这与Squeeze-and-Excitation Networks或者深度残
阅读全文
摘要：在之前的调参记录18中，是将深度残差网络ResNet中的所有ReLU都替换成了自适应参数化ReLU（Adaptively Parametric ReLU，APReLU）。 由于APReLU的输入特征图与输出特征图的尺寸是完全一致的，所以APReLU可以被嵌入到神经网络的任意部分。 本文将APReLU
阅读全文
摘要：由于调参记录18依然存在过拟合，本文将自适应参数化ReLU激活函数中最后一层的神经元个数减少为1个，继续测试深度残差网络+自适应参数化ReLU激活函数在Cifar10数据集上的效果。 同时，迭代次数从调参记录18中的5000个epoch，减少到了500个epoch，因为5000次实在是太费时间了，差
阅读全文
摘要：本文将残差模块的数量增加到27个。其实之前也这样做过，现在的区别在于，自适应参数化ReLU激活函数中第一个全连接层中的神经元个数设置成了特征通道数量的1/16。同样是在Cifar10数据集上进行测试。 自适应参数化ReLU激活函数的基本原理如下： Keras代码如下： #!/usr/bin/env
阅读全文
摘要：在调参记录16的基础上，增加了两个残差模块，继续测试其在Cifar10数据集上的效果。 自适应参数化ReLU激活函数的基本原理如下： Keras程序： #!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Tue Apr 14 0
阅读全文
摘要：在调参记录15的基础上，将第一个残差模块的卷积核数量，从16个增加到32个，同时将自适应参数化ReLU激活函数中第一个全连接层的神经元个数改成原先的1/16，继续测试其在Cifar10数据集上的效果。 自适应参数化ReLU激活函数的基本原理如下： Keras程序： #!/usr/bin/env py
阅读全文
摘要：在调参记录14里，只有2个残差模块，结果遭遇欠拟合了。这次增加一个残差模块试试。 自适应参数化ReLU激活函数的基本原理如下： Keras程序如下： #!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Tue Apr 14 04
阅读全文
摘要：这次再尝试解决过拟合，把残差模块的数量减少到2个，自适应参数化ReLU激活函数里面第一个全连接层的权重数量，减少为之前的1/8，批量大小设置为1000（主要是为了省时间）。 自适应参数化ReLU激活函数的基本原理如下： Keras程序如下： #!/usr/bin/env python3 # -*-
阅读全文
摘要：从以往的调参结果来看，过拟合是最主要的问题。本文在调参记录12的基础上，将层数减少，减到9个残差模块，再试一次。 自适应参数化ReLU激活函数原理如下： Keras程序如下： 1 #!/usr/bin/env python3 2 # -*- coding: utf-8 -*- 3 """ 4 Cre
阅读全文
摘要：本文在调参记录10的基础上，在数据增强部分添加了zoom_range = 0.2，将训练迭代次数增加到5000个epoch，批量大小改成了625，测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果。 Adaptively Parametri
阅读全文
摘要：本文在调参记录10的基础上，将残差模块的数量从27个增加到60个，测试采用Adaptively Parametric ReLU（APReLU）激活函数的深度残差网络，在Cifar10图像集上的效果。 Keras程序如下： 1 #!/usr/bin/env python3 2 # -*- coding
阅读全文
摘要：本文在调参记录9的基础上，在数据增强部分添加了shear_range = 30，测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果。 Keras里ImageDataGenerator的用法见如下网址：https://fairyonice.g
阅读全文
摘要：本文在调参记录6的基础上，继续调整超参数，测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果。 深度残差网络+自适应参数化ReLU激活函数（调参记录6）https://www.cnblogs.com/shisuzanian/p/129074
阅读全文
摘要：续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录7）https://www.cnblogs.com/shisuzanian/p/12907617.html本文将层数设置得很少，只有两个残差模块，测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar
阅读全文
摘要：续上一篇： 深度残差网络+自适应参数化ReLU激活函数（调参记录6） https://www.cnblogs.com/shisuzanian/p/12907482.html 本文冒着过拟合的风险，将卷积核的个数增加成32个、64个和128个，继续测试Adaptively Parametric ReL
阅读全文
摘要：续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录5）https://www.cnblogs.com/shisuzanian/p/12907423.html本文继续调整超参数，测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果。
阅读全文
摘要：续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录4）https://www.cnblogs.com/shisuzanian/p/12907218.html本文继续测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果，每个残差模块
阅读全文
摘要：续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录3）https://www.cnblogs.com/shisuzanian/p/12907095.html 本文在深度残差网络中采用了自适应参数化ReLU激活函数，继续测试其在Cifar10图像集上的效果。与上一篇不同的是，这次修改了残差
阅读全文
摘要：续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录2）https://www.cnblogs.com/shisuzanian/p/12906984.html本文继续测试深度残差网络和自适应参数化ReLU激活函数在Cifar10图像集上的表现，残差模块仍然是27个，卷积核的个数分别增加到1
阅读全文
摘要：续上一篇：深度残差网络+自适应参数化ReLU激活函数（调参记录1）https://www.cnblogs.com/shisuzanian/p/12906954.html 本文依然是测试深度残差网络+自适应参数化ReLU激活函数，残差模块的数量增加到了27个，其他保持不变，卷积核的个数依然是8个、16
阅读全文
摘要：本文采用了深度残差网络和自适应参数化ReLU激活函数，构造了一个网络（有9个残差模块，卷积核的个数比较少，最少是8个，最多是32个），在Cifar10数据集上进行了初步的尝试。 其中，自适应参数化ReLU激活函数原本是应用在基于振动信号的故障诊断，是参数化ReLU的一种改进，其基本原理如下图所示：
阅读全文
浙公网安备 33010602011771号