2019年7月3日
GBDT
摘要： 算法思想 GBDT也是Boosting家族的一员，也采用了前向分布加法模型，但是GBDT和AdaBoost还是存在很大的区别的： 1.AdaBoost没有对弱分类器的种类做限定，GBDT的弱分类器只能是CART回归树。 2.Adaboost是根据本轮弱分类器的分类误差率来改变训练样本在下轮训练时的权 阅读全文
posted @ 2019-07-03 17:12 xd_xumaomao 阅读(613) 评论(0) 推荐(0) 编辑
优秀博客推荐
摘要： 数据结构和算法 https://www.cnblogs.com/skywang12345/p/3603935.html https://www.cnblogs.com/linxiyue/p/3849239.html 机器学习 https://www.cnblogs.com/pinard/p/6140 阅读全文
posted @ 2019-07-03 09:48 xd_xumaomao 阅读(223) 评论(0) 推荐(0) 编辑
2019年6月29日
hdfs基本命令
摘要： 1.启动关闭 start-dfs.sh //启动hdfs start-YARN.sh //启动YARN start-all.sh //同时启动hdfs和YARN jps //查看节点运行进程 stop-all.sh //停止hdfs和YARN 2.hdfs基本命令 阅读全文
posted @ 2019-06-29 19:39 xd_xumaomao 阅读(1872) 评论(0) 推荐(0) 编辑
2019年6月24日
CNN和池化
摘要： CNN CNN为什么比DNN在图像识别上更好 如果把图像的每个像素都当成一维特征的话，输入特征维度将会非常大，用DNN的话需要训练的参数太过庞大根本无法训练。而CNN采用了参数共享机制有效的减少了需要训练的参数的数目，而且在图像中邻近像素具有比较大的关联性，适合用卷积处理。 CNN输出尺寸计算 池化 阅读全文
posted @ 2019-06-24 22:32 xd_xumaomao 阅读(555) 评论(0) 推荐(0) 编辑
集成学习
摘要： bagging bagging的弱分类器之间是相互独立的，容易并行，bagging方法主要是能减少方差。 bagging对样本进行采样时采用有放回的采样（自助法），一般会随机采集和训练集样本数m一样个数的样本。这样得到的采样集和训练集样本的个数相同，但是样本内容不同 代表算法：随机森林 boosti 阅读全文
posted @ 2019-06-24 21:48 xd_xumaomao 阅读(204) 评论(0) 推荐(0) 编辑
Batch Normalization、Layer Normalization、Weight Normalization
摘要： Batch Normalization 原理 Batch Norm的思路是调整各层的激活值分布使其拥有适当的广度 。 原理：（在反向传播的过程中乘了上一层的输出，当每层的输出都小于1时就会造成梯度消失，大于1时会造成梯度爆炸）BN对每一层的输出都做了标准化使得原本会减小的activation的sca 阅读全文
posted @ 2019-06-24 21:25 xd_xumaomao 阅读(323) 评论(0) 推荐(0) 编辑
过拟合总结
摘要： 过拟合产生的原因？ 过拟合的表现：模型在训练集上误差很小，在测试集上误差很大。 过拟合主要由两个方面决定：一是数据集，二是模型。 我认为过拟合问题目前来说只能减少不能避免。 数据集角度： 我们知道无论是机器学习还是深度学习，都是通过在训练集上做训练来最小化训练集上的损失函数来得到想要的模型，也就是说 阅读全文
posted @ 2019-06-24 21:20 xd_xumaomao 阅读(651) 评论(0) 推荐(0) 编辑
常用损失函数
摘要： 均方误差损失 \[J\left( {W,b,a,y} \right) = \frac{1}{2}{\left\| {y - a} \right\|^2}\] 回归问题中，输出层一般用恒等函数，损失函数使用均方误差损失。 交叉熵损失 二分类：\[J\left( {W,b,a,y} \right) = 阅读全文
posted @ 2019-06-24 17:39 xd_xumaomao 阅读(449) 评论(0) 推荐(0) 编辑
常用激活函数
摘要： Sigmoid $\sigma \left( z \right) = \frac{1}{{1 + {e^{ - z}}}}$，${\sigma ^`}\left( z \right) = \sigma \left( z \right)\left( {1 - \sigma \left( z \righ 阅读全文
posted @ 2019-06-24 17:01 xd_xumaomao 阅读(260) 评论(0) 推荐(0) 编辑
2019年6月22日
构造函数
摘要： 基本用法 必须使用列表初始化的情况 注意：成员初始化的顺序与它们在类定义中出现的顺序一致。 复制构造函数 新建一个对象并将其初始化为同类现有对象时，复制构造函数都将被调用。 以下4中情况都将调用复制构造函数： 注意：如果类中包含了使用new初始化的指针成员，应当定义一个复制构造函数，以复制指向的数据 阅读全文
posted @ 2019-06-22 12:57 xd_xumaomao 阅读(200) 评论(0) 推荐(0) 编辑