虽有宝刀，藏而不用

银鞍白马

日拱一卒

随笔分类 -  深度学习

卷积神经网络中的问题
摘要：1.反卷积 http://www.360doc.com/content/19/0507/12/57110788_834069126.shtml 更形象https://blog.csdn.net/tsyccnh/article/details/87357447 分数步长的理解：https://www. 阅读全文
posted @ 2019-09-08 10:16 银鞍白马 阅读(165) 评论(0) 推荐(0)
4.2 CNN实例探究
摘要：阅读他人的代码能够帮助你学习编程。类似的，研究他人开训练出的实例，有助于你构建自己的CNN。 １．classicla network 1.1 LeNet-5 n_H,n_W在减小，n_C在增加 一个或多个卷积层后边跟一个池化层 阅读论文：只需精读第二段 1.2 AlexNet 论文：任务被分到了两个 阅读全文
posted @ 2019-09-03 08:45 银鞍白马 阅读(318) 评论(0) 推荐(0)
4.1 卷积神经网络
摘要：1. 边缘检测 2. Padding 为了解决两个问题： 1.输出缩小。卷积操作后图像由(n,n)变成了(n-f+1,n-f+1) 2.丢失图像边缘的大部分信息 在卷积操作前对图像边缘进行填充，填充p个像素点。则填充并进行卷积后图像尺寸为(n+2p-f+1, n+2p-f+1) 选择填充size：v 阅读全文
posted @ 2019-09-03 08:44 银鞍白马 阅读(161) 评论(0) 推荐(0)
3 ML策略
摘要：1.正交化 通过电视机调节按钮的例子理解正交化。电视机的调节按钮有诸如调节图像高度、左右、旋转、大小等不同功能，而我们往往希望每一个按钮只控制一个功能，而这个按钮尽量不会影响到其他属性，这样更容易往我们想要的方向调节。 early stopping这一旋钮，会导致对训练集拟合不够，但又能使得在开发集 阅读全文
posted @ 2019-08-27 19:37 银鞍白马 阅读(160) 评论(0) 推荐(0)
2.3 超参数调试，batch正则化和程序框架
摘要：1.调试 1.1 超参数调试重要性顺序： 1. $\alpha$ 2.$\beta$, hidden units, mini-batch size 3.layers, learning rate decay 其他：若采用adam，则直接设定$\beta_{1}=0.9, \beta_{2}=0.99 阅读全文
posted @ 2019-08-26 15:04 银鞍白马 阅读(204) 评论(0) 推荐(0)
2.2 优化算法
摘要：1. mini-batch梯度下降法 size=m：退化为batch，当训练样本过多时，单次迭代需要处理过多的训练样本 size=1：随机梯度下降法，产生大量噪声（但通过减小学习率，噪声可以减少），缺点是失去了向量化带来的加速。 使用mini-size，每次遍历所有样本时，可以进行m/size次梯度 阅读全文
posted @ 2019-08-22 17:13 银鞍白马 阅读(206) 评论(0) 推荐(0)
2.1 深度学习的实用层面
摘要：1. 训练集，验证集，测试集 当数据量较小时，可以分别占60%, 20%, 20%，当数据集规模很大时，验证集和测试集所占比例可以很小。 2.偏差和方差 2.1判断 我们可以根据训练集误差，判断数据拟合情况，判断是否有偏差问题。之后根据验证集误差，判断方差是否过高。 2.2 解决 针对高偏差（欠拟合 阅读全文
posted @ 2019-08-20 18:53 银鞍白马 阅读(167) 评论(0) 推荐(0)