有关深度学习的 - 随笔分类 - 原来是只呆燕

摘要：有时明明把网络模型设计的很简单，但统计的网络参数量依旧很大很大答：参数量主要集中在FC全连接层，卷积核所占的参数很少很少。阅读全文

posted @ 2022-06-23 17:10 原来是只呆燕阅读(49) 评论(0) 推荐(0) 编辑

摘要：权重衰减（weight decay）：又叫L2正则化，意思是在损失函数后加一个L2正则项，反向求导时会发现此时权重的更新公式将会变化，一般权重会下降的更快，而应用了该方法的网络，最终某些权重会变成零，相当于在这个神经元上会被抛弃，即神经网络中某些权重归零，表示模型的复杂度下降了，多了一个零，少了一个阅读全文

posted @ 2022-03-04 20:42 原来是只呆燕阅读(255) 评论(0) 推荐(0) 编辑

深度学习中的一些小疑问和解答

摘要：1、1*1的卷积核有啥作用答：主要是降维或升维，也就是多个feature channels线性叠加，比如，一张256×256且深度depth为50的图 (256×256×50)在20个filter上做1×1的卷积，结果会得到256×256×20的图片(降维)，若在80个filter上做1×1的卷积阅读全文

posted @ 2022-01-13 10:35 原来是只呆燕阅读(33) 评论(0) 推荐(0) 编辑

有关torch中的疑难杂症-后续更新

摘要：1、为何tensor中默认的requires_grad默认设置的是False值，但训练的时候梯度依然可以回传？只要某一个输入需要相关梯度值，则输出也需要保存相关梯度信息，这样就保证了这个输入的梯度回传。而反之，若所有的输入都不需要保存梯度，那么输出的requires_grad会自动设置为Fals 阅读全文

posted @ 2021-12-28 19:57 原来是只呆燕阅读(130) 评论(0) 推荐(0) 编辑

总结一下最近整合的两段训练的代码(猫狗图片分类)以供以后学习参考使用

摘要：第一种代码点击查看代码 import os import random import numpy as np import torch import torch.nn as nn from torch.utils.data import DataLoader,Dataset import torc 阅读全文

posted @ 2021-11-02 19:47 原来是只呆燕阅读(198) 评论(0) 推荐(0) 编辑

总结一下神经网络中的激活函数

摘要：神经网络中的非线性是由激活层实现的，而激活层是由激活函数组成的，这里介绍四种常见的激活函数。 1.Sigmoid函数首当其冲，该函数区别了神经网络与感知器(激活函数是阶跃函数)，很明显它将输出限制在了(0,1)之间，因此可以与概率分布联系起来，也能用于输入的归一化，该函数的输出值始终大于0，函数的形阅读全文

posted @ 2021-10-26 21:40 原来是只呆燕阅读(482) 评论(0) 推荐(0) 编辑

浅谈一下图像卷积后的大小推理和几种网络的大致结构

摘要：怎么知道一张图片经过滤波器处理后的大小（神经网络中）？假设输入大小为(H,W),滤波器大小为(FH,FW),输出大小为(OH,OW),填充是P,步幅是S。则经过此滤波器后，图像的大小为