摘要: PyTorch | 优化神经网络训练的方法 转自Faster Deep Learning Training with PyTorch 考虑换一种学习率 schedule 学习率 schedule 的选择对模型的收敛速度和泛化能力有很大的影响。Leslie N. Smith 等人在论文《Cyclica 阅读全文
posted @ 2022-01-22 22:48 梁君牧 阅读(111) 评论(0) 推荐(0) 编辑
摘要: 经典网络整理 AlexNet # ImageNet Classification with Deep Convolutional Neural Networks import torch.nn as nn import torch class AlexNet(nn.Module): def __in 阅读全文
posted @ 2022-01-22 22:29 梁君牧 阅读(80) 评论(0) 推荐(0) 编辑
摘要: 为神经网络选择正确的激活函数 转自知乎专栏为神经网络选择正确的激活函数 我们都知道神经网络模型中使用激活函数的主要目的是将非线性特性引入到我们的网络中,强化网络的学习能力。激活函数应用于隐藏层和输出层中每个节点的称为 z 的输入加权和(此处输入可以是原始数据或前一层的输出)。 在本篇文章中我们将讨论 阅读全文
posted @ 2022-01-22 22:20 梁君牧 阅读(173) 评论(0) 推荐(0) 编辑