摘要：
回顾发现，李航的《统计学习方法》有些章节还没看完，为了记录，特意再水一文。 ####0 - logistic分布 如《统计学习方法》书上，设X是连续随机变量，X服从logistic分布是指X具有以下分布函数和密度函数： \(F(x) = P(X \leq x)=\frac{1}{1+e^{-(x-\ 阅读全文
摘要：
1 - kd Tree KD树是一种对K维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。KD树其实就是二叉树，表现为对K维空间的一个划分，构造kd树相当于不断的用垂直于坐标轴的超平面将k维空间切分，构成一系列的k维超矩形区域，即kd树就是二叉树在高维上的扩展。kd树的每个节点最后对应于一 阅读全文
摘要：
###1 - 背景 KNN：k近邻，表示基于k个最近的邻居的一种机器学习方法。该方法原理简单，构造方便。且是一个非参数化模型。 KNN是一个“懒学习”方法，也就是其本身没有训练过程。只有在对测试集进行结果预测的时候才会产生计算。KNN在训练阶段，只是简单的将训练集放入内存而已。该模型可以看成是对当前 阅读全文
摘要：
####4 - MDS MDS全称"Multidimensional Scaling",多维缩放。其主要思想就是给定一个原始空间的，原始样本两两之间的距离矩阵；期望能在新空间中找到一个新的样本特征矩阵，使得其新样本两两之间的距离矩阵与原始的距离矩阵相等。因为$d' \leq d$，所以完成了降维的任 阅读全文
摘要：
####1 - 线性降维 样本在高维情形下会出现数据样本稀疏（因为样本不是均匀分布在每个维度表示的空间中），距离计算困难（欧式距离也不如人想象的那么有效），可视化困难，容易过拟合等问题。所以不论是机器学习，还是人类理解角度，高维都是个不喜欢的话题（当然对于低维样本线性不可分而上升到高维线性可分的情形 阅读全文
摘要：
###1 - 加法模型 加法模型，就是通过训练集不断的得到不同的分类器（回归），然后将这些分类器组合成一个新的分类器的过程。 假设有$N$个样本，且我们的加法模型如下： \(f(x)=\sum_{m=1}^M\beta_mb(x;\cal Y_m)\) 其中$x$为自变量，即样本；$\cal Y_m 阅读全文
摘要：
###1 -单变量高斯分布 单变量高斯分布概率密度函数定义为： \(p(x)=\frac{1}{\sqrt{2\pi\sigma}}exp\{-\frac{1}{2}(\frac{x-\mu}{\sigma})^2\} \tag{1.1}\) 式中$\mu$为随机变量$x$的期望，$\sigma^2 阅读全文
摘要：
###0 - 背景 贝叶斯是个好东西（频率学派的不这么看），好多模型都可以从贝叶斯角度来解释，而且贝叶斯决策理论也是作为最优分类，给其他模型做错误上限什么的参照的。对于分类来说，在所有相关概率都已知的情况下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。然而贝叶斯又分朴素贝叶斯、半 阅读全文
摘要：
###1 - 背景 决策树：是基于树结构的一种机器学习方法。其训练方法决定了它是一种有监督学习方法，且和KNN一样是一种非参数化模型。且当类数较多时，该方法具有一定的优势[1]。最流行的决策树是将空间拆分成超矩形，超矩形的边与轴平行。常用的算法有：CHAID、 CART、ID3、C4.5、 Ques 阅读全文
摘要：
1 目的 SVM推导是从讨论最优超平面开始的，即为了得到一个能够划分不同超平面的面，即公式1： \beginwTx+b=0 \tag{1} \end 这个公式怎么来的，其实就是基于2维推导过来的，当二维图像时，也就是熟悉的x，y坐标系。我们将一条线的函数公式定义为$Ax+By+C=0$，其法向量为（ 阅读全文
摘要：
1.引言 julia最近十分受关注，其结合了python的通用性，Ruby的动态性，C的代码运行速度，R的包管理和数据分析功能，perl的字符串处理能力，lisp的宏能力，matlab的矩阵计算规则，fortran的矩阵计算速度，shell的不同程序粘粘能力。可谓是集众家之所长，当下就试了一把，不过 阅读全文