随笔分类 - 深度学习
摘要：参考：http://theorangeduck.com/page/neural-network-not-working My Neural Network isn't working! What should I do? 因此，你正在开发深度学习的下一个重大突破，但你遇到了一个不幸的挫折:你的神经网
阅读全文
摘要：参考：https://blog.csdn.net/qq_41368247/article/details/86626446 使用前提：stride > 1 补充：same卷积操作 是通过padding使得卷积之后输出的特征图大小保持不变(相对于输入特征图)，不代表得到的输出特征图的大小与输入特征图的
阅读全文
摘要：1.首先先定义进行卷积的参数： 输入特征图为高宽一样的Hin*Hin大小的x 卷积核大小kernel_size 步长stride padding填充数(填充0) 输出特征图为Hout*Hout大小的y 计算式子为： Hout = floor( Hin + 2*padding - kernel_siz
阅读全文
摘要：1. 先导入使用的包，并声明可用的网络和预训练好的模型 2. 定义要使用到的1*1和3*3的卷积层 注意：这里bias设置为False,原因是： 下面使用了Batch Normalization，而其对隐藏层 有去均值的操作，所以这里的常数项 可以消去 因为Batch Normalization有一
阅读全文
摘要：输入的标准化处理是对图片等输入信息进行标准化处理，使得所有输入的均值为0，方差为1 而Batch Normalization的目的是使各隐藏层输入的均值和方差为任意值 Batch Norm经常使用在mini-batch上，这也是其名称的由来 Batch Normalization是对下面隐藏层进行激
阅读全文
摘要：想要尝试一下将resnet18最后一层的全连接层改成卷积层看会不会对网络效果和网络大小有什么影响 1.首先先对train.py中的更改是： train.py代码可见：pytorch实现性别检测 但是运行的时候出错： 1） [2, 512, 1, 1]为[batch_size, channels, h
阅读全文
摘要：在深度学习框架PyTorch一书的学习-第六章-实战指南和pytorch Debug —交互式调试工具Pdb (ipdb是增强版的pdb)-1-在pytorch中使用 和 pytorch实现性别检测三篇文章的基础上写的这篇文章 之前我们使用的是： 去自动递减学习率，但是这种方法还是十分死板的，希望实
阅读全文
摘要：参考：https://blog.csdn.net/u013733326/article/details/79639509 希望大家直接到上面的网址去查看代码，下面是本人的笔记 搭建一个能够 “识别猫”的简单神经网络——实现logistic回归，即单层神经网络 1.首先下载数据 总代码lr_utils
阅读全文
摘要：参考：https://blog.csdn.net/u013733326/article/details/79702148 希望大家直接到上面的网址去查看代码，下面是本人的笔记 建立一个带有隐藏层的神经网络 导入一些软件包numpy：是用Python进行科学计算的基本软件包。sklearn：为数据挖掘
阅读全文
摘要：参考：https://blog.csdn.net/u013733326/article/details/79767169 希望大家直接到上面的网址去查看代码，下面是本人的笔记 两层神经网络，和吴恩达课后作业学习1-week3-homework-one-hidden-layer——不发布不同之处在于使
阅读全文
摘要：参考：https://blog.csdn.net/u013733326/article/details/79767169 希望大家直接到上面的网址去查看代码，下面是本人的笔记 实现多层神经网络 1.准备软件包 为了和作者的数据匹配，需要指定随机种子 2.初始化参数 测试两层时： 返回： 测试三层时：
阅读全文
摘要：参考：https://blog.csdn.net/u013733326/article/details/79847918 希望大家直接到上面的网址去查看代码，下面是本人的笔记 5.梯度校验 在我们执行反向传播的计算过程中，反向传播函数的计算过程是比较复杂的。为了验证我们得到的反向传播函数是否正确，现
阅读全文
摘要：参考：https://blog.csdn.net/u013733326/article/details/79847918 希望大家直接到上面的网址去查看代码，下面是本人的笔记 初始化、正则化、梯度校验 1. 初始化参数： 1.1：使用0来初始化参数。 1.2：使用随机数来初始化参数。 1.3：使用抑
阅读全文
摘要：参考：https://blog.csdn.net/u013733326/article/details/79847918 希望大家直接到上面的网址去查看代码，下面是本人的笔记 4.正则化 1）加载数据 仍是问题： 解决——直接导入函数： 加载数据： 图示： 每一个点代表球落下的可能的位置，蓝色代表我
阅读全文
摘要：参考：https://blog.csdn.net/u013733326/article/details/79971488 希望大家直接到上面的网址去查看代码，下面是本人的笔记 到目前为止，我们一直在使用numpy来自己编写神经网络。现在我们将一步步的使用深度学习的框架来很容易的构建属于自己的神经网络
阅读全文
摘要：参考：https://blog.csdn.net/u013733326/article/details/79907419 希望大家直接到上面的网址去查看代码，下面是本人的笔记 我们需要做以下几件事： 1. 分割数据集 2. 优化梯度下降算法： 2.1 不使用任何优化算法 2.2 mini-batch
阅读全文
摘要：参考：https://blog.csdn.net/u013733326/article/details/79971488 使用TensorFlow构建你的第一个神经网络 我们将会使用TensorFlow构建一个神经网络，需要记住的是实现模型需要做以下两个步骤： 1. 创建计算图 2. 运行计算图 该
阅读全文