公众号【机器学习炼丹术】

摘要： 梯度消失问题和梯度爆炸问题，总的来说可以称为梯度不稳定问题。 【要背住的知识】：用ReLU代替Sigmoid，用BN层，用残差结构解决梯度消失问题。梯度爆炸问题的话，可以用正则化来限制。sigmoid的导数是【0，0.25】. 出现原因 两者出现原因都是因为链式法则。当模型的层数过多的时候，计算梯度 阅读全文

摘要： boosting Boosting 算法的特点在于：将表现一般的弱分类器通过组合变成更好的模型。代表自然就是我们的随即森林了。 GBDT和Adaboost是boost算法中比较常见的两种，这里主要讲解Adaboost。 Adaboost Adaboost算法的核心就是两个权重。对于数据有一个权重，权 阅读全文

摘要： 线性回归解决的是回归问题，逻辑回归相当于是线性回归的基础上，来解决分类问题。 公式 线性回归(Linear Regression)是什么相比不用多说了。格式是这个样子的： \(f_{w,b}(x)=\sum_i{w_ix_i}+b\) 而逻辑回归（Logistic Regression）的样子呢？ 阅读全文

摘要： 什么是过拟合 过拟合就是在训练集上表现得非常好，在测试集上表现得不好。也就是我们俗称的泛化能力弱。 过拟合无法避免，只能缓解，那么如何缓解呢？方法太多了。这篇文章一一介绍。 数据集增强Augmentation 图像上，翻转，平移，缩放，旋转，镜像，增强对比度，增强亮度等诸多方式。 我在下面的内容中介 阅读全文

摘要： kd树（k-dimensional树的简称），是一种分割k维数据空间的数据结构，主要应用于多维空间关键数据的近邻查找(Nearest Neighbor)和近似最近邻查找(Approximate Nearest Neighbor)。 一、Kd-tree 其实KDTree就是二叉查找树（Binary S 阅读全文

摘要： 关于决策树的purity的计算方法可以参考： 决策树purity/基尼系数/信息增益 Decision Trees 如果有不懂得可以私信我，我给你讲。 ID3 用下面的例子来理解这个算法： 下图为我们的训练集。总共有14个训练样本，每个样本中有4个关于天气的属性，这些属性都是标称值。输出结果只有2个 阅读全文

摘要： 1 定义 百度百科的定义： 它是通过把所有地表真实分类中的像元总数（N）乘以混淆矩阵对角线（Xkk）的和，再减去某一类地表真实像元总数与被误分成该类像元总数之积对所有类别求和的结果，再除以总像元数的平方减去某一类中地表真实像元总数与该类中被误分成该类像元总数之积对所有类别求和的结果所得到的。 这对于 阅读全文

摘要： 站主近期建立了一个自己的网站来发博文，文章已经搬运到了下面的地址： 决策树purity/基尼系数/信息增益 Decision Trees 阅读全文

摘要： 站主近期建立了一个自己的网站来发博文，文章已经搬运到了下面的地址： 【科普入门】概率与分布密度 贝叶斯理论入门 数据挖掘基础入门 阅读全文

摘要： 因为本人近期也要紧临毕业，面临招聘面试，所以整体别人公开的面经，做一个整理，并且加上自己认为的答案，欢迎各位读者对答案进行指正和交流。 深度残差的作用 直观上，深度加深，出现梯度消失和梯度爆炸的问题 在论文中，出现了一个奇怪的现象，就是56层网络效果没有20层的好。本质问题是因为网络深造成信息丢失从 阅读全文