摘要： （1） 基本思想将评分矩阵R分解为用户矩阵U和项目矩阵S， 通过不断的迭代训练使得U和S的乘积越来越接近真实矩阵（2）具体的过程如图 （3）目标函数如下，当Loss最小的时候，U和S的乘积可以近似的替代R $$ min \ Loss = min \ \sum_{i=1}^{m} \sum_{j=1} 阅读全文

摘要： 上周参加了学校的数据挖掘竞赛，总的来说，在还需要人工干预的机器学习相关的任务中，主要解决两个问题：（1）如何将原始的数据处理成合格的数据输入（2）如何获得输入数据中的规律。第一个问题的解决方案是：特征工程。第二个问题的解决办法是：机器学习。 相对机器学习的算法而言，特征工程的工作看起来比较low，但 阅读全文

摘要： 阅读全文

摘要： 在前一篇文章中，我们给出了感知器和逻辑回归的求解，还将SVM算法的求解推导到了最后一步，在这篇文章里面，我们将给出最后一步的求解。也就是我们接下来要介绍的序列最小最优化算法。 序列最小最优化算法（SMO）： 首先回顾一下。我们使用广义拉格朗日函数，将目标函数和限制条件写到一起，然后证明了原始问题能够 阅读全文

摘要： 这篇文章将介绍感知器、逻辑回归的求解和SVM的部分求解，包含部分的证明。本文章涉及的一些基础知识，已经在《梯度下降、牛顿法和拉格朗日对偶性》中指出，而这里要解决的问题，来自《从感知器到SVM》 、《从线性回归到逻辑回归》两篇文章。 感知器： 前面的文章已经讲到，感知器的目标函数如下： $min \ 阅读全文

摘要： 计数排序：最差运行时间复杂度：，平均：，k是数字范围区间长度，n是数组长度。 这是一种稳定的线性时间排序 如果要排序的内容已知其范围，比如要排序的所有数字都是1~100之间的数（使用计数排序是最好的选择） KEY-IDEA：由于计数的范围已经确定，因此，可以开辟一个额外的空间来记录所有数字出现的次数 阅读全文

摘要： 这篇文章主要介绍梯度下降、牛顿法和拉格朗日对偶性的过程和一些原理的证明。 梯度下降： 假设$f(x),x\in R^{n}$，有一阶的连续偏导数，要求解的无约束最优化问题是： $\min \limits_{x\in R^{n}}f(x)$ $x^*$表示目标函数$f(x)$的极小点。 首先解释一下为 阅读全文

摘要： 这里仅介绍分类决策树。 决策树：特征作为决策的判断依据，整个模型形如树形结构，因此，称之为决策树 对于分类决策树，他们可以认为是一组if-then规则的集合。决策树的每一个内部节点有特征组成，叶子节点代表了分类的结果。父节点和子节点之间是由有向边连接，表示了决策的结果。 在这里，有必要解释一下，为什 阅读全文

摘要： 这篇文章主要是分析感知器和SVM处理分类问题的原理，不涉及求解 感知器： 感知器要解决的是这样的一个二分类问题：给定了一个线性可分的数据集，我们需要找到一个超平面，将该数据集分开。这个超平面的描述如下： $w*x+b=0$ 而感知器的决策函数是： $f(x)=sign(w*x+b)$ 其中 $z=w 阅读全文

摘要： 文章主要包含的内容有：逻辑回归中所涉及到的推导，原理。 从逻辑回归的决策函数中可以看到 $y=f(wx+b)$(为了记录方便，令$b=w_0*x_0$);于是有 $y=f(w*x)$。其中，如果让 $z=w*x$ ，这个等式实际上描述了一个自变量$x$和因变量$z$的一个线性关系。因此，在推导逻辑回 阅读全文