摘要：
1. 忘了数据规范化 2. 没有检查结果 3. 忘了数据预处理 4. 忘了正则化 5. 设置了过大的批次大小 6. 使用了不适当的学习率 7. 在最后一层使用了错误的激活函数 8. 网络含有不良梯度 9. 没有正确地初始化网络权重 10. 神经网络太深了 11. 隐藏unit的数量不对 12.补充 阅读全文
posted @ 2018-08-19 16:48 Charlie_ODD 阅读(275) 评论(0) 推荐(0) 编辑
摘要：
37 Reasons why your Neural Network is not working Neural Network Check List 如何使用这个指南 数据问题 检查输入数据 试一下随机输入 检查数据加载单元 确保输入和输出是一一对应的 输入和输出之间的关系映射的随机性会不会太强了 阅读全文
posted @ 2018-08-18 12:23 Charlie_ODD 阅读(237) 评论(0) 推荐(0) 编辑
摘要：
前言： Batch Normalization是深度学习领域在2015年非常热门的一个算法，许多网络应用该方法进行训练，并且取得了非常好的效果。 众所周知，深度学习是应用随机梯度下降法对网络进行训练，尽管随机梯度下降训练神经网络非常有效，但是它有一个缺点，就是需要人为的设定很多参数，比如学习率，权重 阅读全文
posted @ 2018-08-16 15:57 Charlie_ODD 阅读(240) 评论(0) 推荐(0) 编辑
摘要：
1. 随机森林优缺点 随机森林（RF）是Bagging的一个扩展变体。RF在以决策树为基分类器进行集成的基础上，进一步在决策树的训练过程中引入了随机属性选择。 Bagging就是对数据集训练多个基分类器，然后将基分类器得到的结果进行投票表决作为最终分类的结果。基分类器在构建过程中需要尽可能保证训练出 阅读全文
posted @ 2018-08-16 15:36 Charlie_ODD 阅读(2611) 评论(0) 推荐(1) 编辑
摘要：
通常过拟合由以下三种原因产生： 1. 假设过于复杂；2. 数据存在很多噪音；3. 数据规模太小。 过拟合的解决方法通常有： 1. early stopping；2. 数据集扩增；3. 正则化；4. Dropout。 Early stopping： 对模型的训练过程就是对模型参数的进行学习更新的过程。 阅读全文
posted @ 2018-08-16 15:24 Charlie_ODD 阅读(555) 评论(0) 推荐(1) 编辑
摘要：
损失函数 损失函数（loss function）也叫代价函数（cost function）。是神经网络优化的目标函数，神经网络训练或者优化的过程就是最小化损失函数的过程（损失函数值小了，对应预测的结果和真实结果的值就越接近 1、二次代价函数 二次代价函数就是欧式距离的和，在线性回归中用的比较多，但在 阅读全文
posted @ 2018-08-16 14:50 Charlie_ODD 阅读(2840) 评论(1) 推荐(1) 编辑
摘要：
1、sigmoid 函数曲线如下: sigmoid激活函数，符合实际，当输入值很小时，输出接近于0；当输入值很大时，输出值接近于1。 sigmod函数曾经是比较流行的，它可以想象成一个神经元的放电率，在中间斜率比较大的地方是神经元的敏感区，在两边斜率很平缓的地方是神经元的抑制区。当然，流行也是曾经流 阅读全文
posted @ 2018-08-16 14:27 Charlie_ODD 阅读(541) 评论(0) 推荐(0) 编辑
摘要：
2-1、标量 一个标量就是一个单独的数，一般用小写的的变量名称表示。 2-2、向量 一个向量就是一列数，这些数是有序排列的。用过次序中的索引，我们可以确定每个单独的数。通常会赋予向量粗体的小写名称。当我们需要明确表示向量中的元素时，我们会将元素排列成一个方括号包围的纵柱：我们可以把向量看作空间中的点 阅读全文
posted @ 2018-08-15 15:01 Charlie_ODD 阅读(472) 评论(0) 推荐(0) 编辑
摘要：
四、信息论 信息论是应用数学的一个分支，主要研究的是对一个信号能够提供信息的多少进行量化。如果说概率使我们能够做出不确定性的陈述以及在不确定性存在的情况下进行推理，那信息论就是使我们能够量化概率分布中不确定性的总量。 1948年，香农引入信息熵，将其定义为离散随机事件的出现概率。一个系统越是有序，信 阅读全文
posted @ 2018-08-15 14:51 Charlie_ODD 阅读(1788) 评论(0) 推荐(0) 编辑