10 2018 档案
摘要:25匹马,5个跑道,每个跑道最多能有1匹马进行比赛,最少比多少次能比出前3名?前5名? 最近在做笔试的题目时,遇到了这种类型的题目,今天来分析一下解题的思路: 由于有25匹马,5个跑道,每个跑道最多只能有一匹马进行奔跑,那么我们可以将25匹马均分成5组,各组内进行一次较量,假设每组得到的结果由快道慢
阅读全文
摘要:LR & SVM 的区别 相同点 1. LR和SVM都是分类算法。 2. 如果不考虑核函数,LR和SVM都是线性分类算法,也就是说他们的分类决策面都是线性的。 3. LR和SVM都是监督学习算法。 4. LR和SVM都是判别模型。 不同点 1. 损失函数不一样 2. 支持向量机只考虑局部的边界线附近
阅读全文
摘要:EM算法推导 网上和书上有关于EM算法的推导,都比较复杂,不便于记忆,这里给出一个更加简短的推导,用于备忘。 在不包含隐变量的情况下,我们求最大似然的时候只需要进行求导使导函数等于0,求出参数即可。但是包含隐变量,直接求导就变得异常复杂,此时需要EM算法,首先求出隐变量的期望值(E步),然后,把隐变
阅读全文
摘要:K means算法的优缺点 优点:原理简单,实现容易 缺点: 1. 收敛较慢 2. 算法时间复杂度比较高 3. 不能发现非凸形状的簇 4. 需要事先确定超参数K 5. 对噪声和离群点敏感 6. 结果不一定是全局最优,只能保证局部最优
阅读全文
摘要:自助采样包含训练集里63.2%的样本? 在学习随机森林的时候,经常会看到这么一句话“ 自助采样法给bagging带来的好处就是:由于每个学习器只是使用了% 63.2 的数据,剩下的约%36.8的样本可以用作验证集来对泛化性能进行“包外估计”。 “ 那么这个63.2%是怎么来的呢?假设我们有n个样本,
阅读全文
摘要:指数加权移动平均 以下内容来自 https://zhuanlan.zhihu.com/p/32335746,纯用作记录 指数加权移动平均(Exponentially Weighted Moving Average),他是一种常用的序列处理方式。在时刻,移动平均值公式是 $$ v_t = \be
阅读全文
摘要:牛顿法与梯度下降法 梯度下降法 梯度下降法非常常用,其利用的是一阶导数,进行逼近,具体的更新方法如下: 其中为学习速率。 牛顿法 牛顿利用到了二阶导数的信息,其推导需要利用到泰勒的二阶展开,具体如下: $$f(x+
阅读全文
摘要:主成分分析 PCA 协方差矩阵 假设我们有 那么协方差矩阵 $$ C_x= \dfrac{1}{n 1}XX^T = \dfrac
阅读全文