2018年10月28日
卷积神经网络(一)---基础
摘要： 1. Computer Vision 机器视觉（Computer Vision）是深度学习应用的主要方向之一。一般的CV问题包括以下三类： Image Classification Object detection Neural Style Transfer 下图展示了一个神经风格转换（Neural 阅读全文
posted @ 2018-10-28 20:23 nxf_rabbit75 阅读(887) 评论(0) 推荐(0) 编辑
机器学习策略（二）---误差分析、训练集与开发测试集不相配怎么办、迁移学习/多任务学习、端到端深度学习
摘要： 1.误差分析 1.1 误差分析 当算法还没有到达human level时，你需要去分析算法带来的误差，并且决定接下去应该如何优化，从而减小误差。这个过程叫做 误差分析 。 将设在猫狗分类的任务上，若dev set上的error有10%，此时你需要找出这些错误的case,然后统计猫错分成狗，和狗错分成 阅读全文
posted @ 2018-10-28 10:48 nxf_rabbit75 阅读(2167) 评论(0) 推荐(0) 编辑
2018年10月27日
机器学习策略（一）---正交化、评估指标、优化指标、训练与测试集数据集大小、可避免误差
摘要： 1.引言 这一部分主要是学习怎样快速高效的优化机器学习项目，假如你想优化你的猫分类器系统，你可以： 收集更多的数据 增加数据的多样性 梯度下降算法训练时间更长一些 尝试不同的而优化算法，比如Adam 尝试规模更大或更小的网络结构 尝试加入Dropout 加入L2正则 修改网络结构，比如激活函数、隐藏 阅读全文
posted @ 2018-10-27 10:19 nxf_rabbit75 阅读(1447) 评论(0) 推荐(0) 编辑
2018年10月21日
改善深层神经网络的优化算法：mini-batch梯度下降、指数加权平均、动量梯度下降、RMSprop、Adam优化、学习率衰减
摘要： 1.mini batch梯度下降 在前面学习向量化时，知道了可以将训练样本横向堆叠，形成一个输入矩阵和对应的输出矩阵： 当数据量不是太大时，这样做当然会充分利用向量化的优点，一次训练中就可以将所有训练样本涵盖，速度也会较快。但当数据量急剧增大，达到百万甚至更大的数量级时，组成的矩阵将极其庞大，直接对 阅读全文
posted @ 2018-10-21 21:40 nxf_rabbit75 阅读(1945) 评论(0) 推荐(0) 编辑
具有单隐藏层的二分类神经网络
摘要： 搭建神经网络 我们要搭建的神经网络模型如下图 构建神经网络的一般方法是： 1. 定义神经网络结构 （输入单元的数量，隐藏单元的数量等）。 2. 初始化模型的参数 3. 循环 实施前向传播 计算损失 实现向后传播 更新参数（梯度下降） 我们要它们合并到一个nn_model() 函数中，当我们构建好了n 阅读全文
posted @ 2018-10-21 17:40 nxf_rabbit75 阅读(1810) 评论(0) 推荐(0) 编辑
2018年10月20日
神经网络前向后向传播（理论与实战）
摘要： 建立神经网络的主要步骤是： 1. 定义模型结构（例如输入特征的数量） 2. 初始化模型的参数 3. 循环： 3.1 计算当前损失（正向传播） 3.2 计算当前梯度（反向传播） 3.3 更新参数（梯度下降） 实现代码 参考 [1]: https://blog.csdn.net/weixin_40920 阅读全文
posted @ 2018-10-20 21:56 nxf_rabbit75 阅读(999) 评论(0) 推荐(0) 编辑
2018年10月17日
梯度消失与梯度爆炸---如何选择随机初始权重
摘要： 梯度消失与梯度爆炸 当训练神经网络时，导数或坡度有时会变得非常大或非常小，甚至以指数方式变小，这加大了训练的难度 这里忽略了常数项b。为了让z不会过大或者过小，思路是让w与n有关，且n越大，w应该越小才好。这样能够保证z不会过大。 1.如果激活函数是tanh，一般选择下面的初始化方法 2.如果激活函 阅读全文
posted @ 2018-10-17 22:32 nxf_rabbit75 阅读(618) 评论(0) 推荐(0) 编辑
正则化输入
摘要： 正则化数据前后的数据分布特点 正则化前后梯度下降的区别 如果特征值处于相似范围内，那么归一化就不是很重要了, 执行这一类归一化并不会产生什么危害 阅读全文
posted @ 2018-10-17 22:17 nxf_rabbit75 阅读(398) 评论(0) 推荐(0) 编辑
numpy中的广播(Broadcasting)
摘要： Numpy的Universal functions 中要求输入的数组shape是一致的，当数组的shape不相等的时候，则会使用广播机制，调整数组使得shape一样，满足规则，则可以运算，否则就出错 四条规则如下： 让所有输入数组都向其中shape最长的数组看齐，shape中不足的部分都通过在前面加 阅读全文
posted @ 2018-10-17 21:59 nxf_rabbit75 阅读(446) 评论(0) 推荐(0) 编辑
神经网络--参数初始化
摘要： 1. 参数初始化的目的是什么？ 为了让神经网络在训练过程中学习到有用的信息，这意味着参数梯度不应该为0。而我们知道在全连接的神经网络中，参数梯度和反向传播得到的状态梯度以及入激活值有关。那么参数初始化应该满足以下两个条件： 初始化必要条件一：各层激活值不会出现饱和现象； 初始化必要条件二：各层激活值 阅读全文
posted @ 2018-10-17 20:39 nxf_rabbit75 阅读(3285) 评论(1) 推荐(0) 编辑