随笔分类 - 深度学习
Dropout程序
摘要：1 # coding:utf-8 2 import numpy as np 3 4 # dropout函数的实现 5 def dropout(x, level): 6 if level < 0. or level >= 1: #level是概率值，必须在0~1之间 7 raise ValueErro
阅读全文
感受野
摘要：卷积神经网络中每个网络层输出的特征图中的单个元素映射回原始输入特征中的区域大小，网络层越深，其输出特征的元素对应感受野越大。也就是说输出特征图中单个元素能够看到输入图中多大区域或则说特征图上上某个元素的计算受输入图像上某个区域的影响，这个区域即该元素的感受野。 对于全连接网络而言，其输出中的每一个元
阅读全文
经典网络
摘要：AlexNet 在单张数据集输入网络之前，要将数据集的所有图片，比如18w张都展开成一个227*227*3的向量，然后求这18w个向量的均值，在将这单张图像展开成227*227*3的向量减去均值向量，再将这个减去均值的向量作为输入。 对抗轻微目标偏移带来的影响： 卷积核的数量越多，代表基元越多，能学
阅读全文
卷积神经网络更新
摘要：基础 高斯核 权重归一化是只核中每一个元素的值都除以这个核中所有元素值的总和，我们将进行权重归一化的模板称为平滑模板。 也就是说对核中心的值归一化的时候，如果增大模板则分子不变分母变大，因此核中心的值归一化后变小，这会导致图像中中心像素的权值变小，因此中心像素越容易受到周围像素的影响，核的平滑效果越
阅读全文
梯度消失
摘要：产生原因 激活函数采用sigmod或双曲正切函数时输入过大或则过小会导致其梯度接近于0 解决方案 采用Relu函数 输入数据归一化(批归一化)是所有输入数据落在梯度不为0的区间 合适的权值初始化策略
阅读全文
卷积神经网络
摘要：如果一张28*28*1的图像作为输入，那么传统的神经网络输入的是向量，而卷积神经网络输入的是三维矩阵 卷积层 卷积层作用是特征提取，池化层的作用是压缩特征，注意卷积层的卷积策略是不对图像的最外层的像素进行处理 颜色通道的处理策略 3个颜色通道，每个颜色通道分别做计算，再把每个通道卷积结果相加 卷积的
阅读全文
过拟合与正则化
摘要：过拟合产生原因： 从训练集和测试集的角度来讲就是：模型几乎完全符合符合训练集(只是记住了训练数据，而没有真正学习到数据的特征)，甚至将噪声也作为拟合模型的数据，这就导致了在训练集上效果很好，在测试集上效果很差，也就是加入一个新数据的时候这个新数据就不符合这个模型了(这也是所谓的泛化能力很差） 从模型
阅读全文
深度学习(神经网络)
摘要：基础概念 数据集划分 首先人为给定一组包括λ在内的，也就给定了一组模型，然后我们再确定参数的初值并带入训练集去优化每个模型的参数，然后将这些模型分别用验证集验证，看看哪个超参数对应的模型最好就将其带入测试集评价我现在能拿到最好模型的性能。 交叉验证 比如说做一个男女分类问题，一个模型对于男生的分类正
阅读全文
